Régularisation

Ajuster un modèle en minimisant la seule erreur d’entraînement lui donne toutes les raisons de se contorsionner vers l’échantillon d’entraînement. La régularisation change l’objectif : au lieu de minimiser l’erreur seule, le modèle minimise l’erreur plus une pénalité qui croît avec la taille de ses paramètres. Les ajustements grands et alambiqués doivent désormais se justifier face à ce coût, et le modèle se contente d’un ajustement plus simple à moins que les données n’en soutiennent vraiment davantage.

Les deux pénalités classiques se comportent différemment. La pénalité L2, somme des coefficients au carré, donne la régression ridge. Son gradient est proportionnel au coefficient lui-même, elle rétrécit donc chaque coefficient de façon lisse vers zéro sans jamais l’atteindre ; les prédicteurs corrélés tendent à se partager l’influence. La pénalité L1, somme des valeurs absolues, donne le lasso. Son gradient a une amplitude constante, ce qui suffit à conduire des coefficients exactement à zéro : le modèle ajusté réalise une sélection de variables et produit un résultat parcimonieux, plus interprétable.

Les deux sont des expressions du compromis biais-variance. Rétrécir les coefficients loin de leurs valeurs des moindres carrés introduit du biais, puisque le modèle ajusté n’est plus le meilleur ajustement possible aux données d’entraînement. En échange, l’ajustement devient bien moins sensible aux observations qui ont été échantillonnées. Quand les prédicteurs sont nombreux ou colinéaires, cet échange est généralement très favorable.

L’idée se généralise bien au-delà des modèles linéaires. Dans les réseaux de neurones, la même pénalité L2 apparaît sous le nom de décroissance des poids, et d’autres dispositifs - dropout, arrêt précoce, augmentation de données - agissent comme régularisateurs sans ajouter de terme de pénalité explicite. Tous limitent la précision avec laquelle le modèle peut épouser son échantillon d’entraînement.

Considérez une régression à nombreux prédicteurs, dont plusieurs fortement corrélés. Les moindres carrés ordinaires peuvent produire de grands coefficients de signes opposés qui s’annulent : l’ajustement est bon sur les données d’entraînement mais follement instable, puisqu’un échantillon légèrement différent donnerait des coefficients très différents.

Appliquer une pénalité L2 supprime ce comportement. De grands coefficients opposés coûtent cher, l’ajustement répartit donc l’influence plus uniformément entre les prédicteurs corrélés et les coefficients deviennent bien plus stables d’un échantillon à l’autre.

Appliquer une pénalité L1 de force comparable fait quelque chose de qualitativement différent : elle conduit à zéro exactement la plupart des coefficients des prédicteurs corrélés et en conserve un. Le résultat est plus parcimonieux et plus facile à interpréter, mais le prédicteur qui survit peut être quelque peu arbitraire quand le groupe corrélé est presque interchangeable.