Préentraînement et affinage

Entraîner depuis zéro un modèle compétent pour chaque tâche exigerait à chaque fois un grand jeu de données étiquetées, rarement disponible. L’approche en deux temps sépare l’apprentissage du domaine en général de l’apprentissage de la tâche précise. La première étape est coûteuse et menée une seule fois ; la seconde est bon marché et répétée par application.

Le préentraînement fonctionne parce que son objectif est auto-supervisé. Prédire le jeton suivant ne demande aucune annotation : le texte lui-même fournit la réponse, si bien qu’une quantité pratiquement illimitée de texte brut peut être employée. Pour bien prédire, le modèle doit acquérir une grande compétence incidente en syntaxe, en associations factuelles et en structure du discours, et c’est cette compétence que l’affinage exploite ensuite.

L’affinage poursuit l’entraînement sur des données propres à la tâche, généralement à un taux d’apprentissage bien plus faible pour que la connaissance préentraînée soit ajustée plutôt qu’écrasée. Les représentations étant déjà bonnes, la quantité de données étiquetées nécessaire est faible, souvent quelques milliers d’exemples là où un entraînement depuis zéro en demanderait des millions. Raschka présente la distinction sous la forme d’un affinage par instructions et d’un affinage de classification appliqués après le préentraînement d’un modèle de base.

L’économie de cette division explique une bonne part du paysage actuel. Les coûts de préentraînement sont énormes et concentrés entre quelques organisations, tandis que l’affinage est à la portée de presque tout le monde : un seul modèle de base engendre donc de nombreux descendants spécialisés. Les méthodes économes en paramètres, qui ne mettent à jour qu’un petit ensemble de paramètres ajoutés et laissent les poids de base gelés, abaissent le coût plus encore.

Un modèle de langue de base est préentraîné sur un très grand corpus de texte avec un objectif unique : prédire le jeton suivant. On ne lui parle jamais d’analyse de sentiment, de résumé ni de réponse à des questions, et pourtant il acquiert la compétence linguistique dont ces tâches dépendent.

Pour en tirer un classifieur de sentiment, on lui attache une petite tête de classification et on l’affine sur quelques milliers d’avis étiquetés. Il comprend déjà la négation, les indices d’ironie et les intensificateurs grâce au préentraînement : il ne lui reste qu’à apprendre la correspondance vers les étiquettes de sentiment.

L’affinage par instructions est le même mécanisme employé autrement : affiner sur des exemples d’instructions appariées à de bonnes réponses transforme un simple prédicteur de jeton suivant en quelque chose qui suit des demandes. La capacité sous-jacente venait du préentraînement ; l’affinage a façonné la manière dont elle s’exprime.