Aller au contenu
Kudos AI

Étiquetés « generalization »

2 articles.

4 min de lectureStatistical Learning Theory

Le théorème qui ne dit rien de votre problème

Moyenné sur les 256 fonctions de trois bits vers un, un apprenant par plus proche voisin et un apprenant construit pour se tromper exprès obtiennent tous deux exactement 0,500000 hors échantillon d’apprentissage. C’est le théorème du « pas de repas gratuit », il est exactement vrai, et dès que la moyenne est restreinte aux six fonctions qui dépendent d’un seul bit, les deux se séparent à 0,333333 et 0,666667.

Apprentissage automatiqueMathématiques
5 min de lectureStatistical Learning Theory

Un paramètre, une capacité infinie

Un classifieur à un seul paramètre réel réalise les 1 048 576 étiquetages de vingt points, à chaque fois, et prédit un vingt et unième avec une exactitude de 0,5038 sur vingt mille essais. Compter les paramètres ne borne la capacité d’une classe de modèles ni par le haut ni par le bas, et c’est pourquoi la capacité doit se mesurer autrement.

Apprentissage automatiqueMathématiques