Yoshua Bengio

A fait progresser les approches neuronales du langage, dont les représentations distribuées de mots.

Biographie

Informaticien canadien dont les travaux sur les modèles de langue neuronaux introduisirent l’apprentissage de représentations distribuées de mots conjointement au modèle qui les utilise, une idée devenue fondatrice pour le traitement automatique des langues qui suivit.

Contributions clés

• Des modèles de langue probabilistes neuronaux apprenant des représentations distribuées de mots.
• Des travaux sur les mécanismes d’attention pour les modèles séquence-à-séquence.
• Des travaux théoriques et empiriques soutenus sur l’entraînement des architectures profondes.

Impact

Les représentations denses apprises de mots ont remplacé les variables lexicales construites à la main en traitement automatique des langues, et les mécanismes d’attention développés dans cette lignée furent le précurseur direct du transformeur.