Modèles de langage et IA générative
Comment le texte devient des nombres, comment l'attention permet à un jeton de recueillir du contexte dans toute la séquence, et ce que le pré-entraînement puis l'affinage font réellement aux poids.
Connectez-vous pour passer les quiz, gagner des XP et débloquer les étapes en atteignant 90% de maîtrise.
Jetons et plongements
30 min · 120 XPDu texte aux identifiants de jetons puis aux vecteurs, et pourquoi une couche de plongement est une table de correspondance plutôt qu'un produit matriciel.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
L’attention, pas à pas
45 min · 180 XPRequêtes, clés et valeurs sur un exemple travaillé à trois jetons : scorer, mettre à l'échelle, normaliser, mélanger - chaque nombre calculé à la main.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 4 questions.
Pré-entraînement, puis affinage
35 min · 140 XPLa prédiction du jeton suivant sur du texte non annoté pour obtenir un modèle de fondation, puis une petite étape annotée qui l'adapte - et ce que mesure vraiment l'entropie croisée.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.