8 min de lectureConstruire un modèle de langue
L’attention et l’auto-attention
Requêtes, clés et valeurs construites depuis la base : pourquoi l’attention existe, comment se calcule l’attention par produit scalaire mis à l’échelle, pourquoi elle est divisée par la racine carrée de la dimension, et comment fonctionne le masquage causal, avec chaque matrice calculée et vérifiée.
IA générativeApprentissage profondTraitement du langage naturel