Faites varier la complexité du modèle et la taille de l’échantillon pour voir l’erreur d’apprentissage décroître sans cesse tandis que l’erreur de test remonte, décomposée en biais, variance et bruit irréductible.
Erreur d’entraînement contre erreur de test à mesure que la complexité augmente.
Proche du point idéal : l’erreur de test est proche de son minimum.
L’erreur d’entraînement diminue toujours à mesure que le modèle devient plus flexible : c’est donc un guide trompeur. L’erreur de test vaut biais² + variance + bruit irréductible : elle atteint son minimum là où les deux forces s’équilibrent, puis remonte lorsque le modèle s’ajuste au bruit. Ajoutez des données (augmentez la taille de l’échantillon) et le terme de variance diminue, déplaçant le point idéal vers une complexité plus élevée et abaissant toute la courbe de test.
Fonctionne entièrement dans votre navigateur. Rien de ce que vous saisissez n’est envoyé ni conservé.
La décomposition exacte de l’erreur de test espérée en biais au carré, variance et bruit irréductible, démontrée numériquement par une simulation de 2 000 tirages où les trois termes sont mesurés séparément et vérifiés comme s’additionnant.
Pourquoi l’erreur d’entraînement est une estimation biaisée de l’erreur de test, et comment l’ensemble de validation, le leave-one-out et le k-fold y remédient, avec une LOOCV à cinq observations calculée point par point.