10 min de lectureConstruire un modèle de langue
L’architecture du transformeur
Assembler un GPT à partir de l’attention : projections multi-têtes, normalisation de couche déroulée à la main, pourquoi les connexions de raccourci sauvent le gradient, l’expansion x4 du réseau à propagation avant, et un décompte de paramètres qui reproduit exactement les 124 millions de GPT-2 small.
IA générativeApprentissage profondTraitement du langage naturel