Comparer les classifieurs, et ce que l’exactitude dissimule

Comparer des classifieurs sur des données réelles a une propriété gênante : on ne sait jamais combien de marge il restait. Une méthode à 12 % d’erreur peut être quasi optimale comme elle peut laisser la moitié de l’exactitude disponible sur la table, et rien dans les données ne dit laquelle. Cet article travaille plutôt sur des données simulées, où le meilleur classifieur possible se calcule exactement - ce qui transforme des comparaisons vagues en mesures.

A. Le classifieur qu’on ne peut pas battre

Si vous connaissiez $P(Y = j \mid X = x)$ pour chaque $x$, le mieux à faire serait d’affecter chaque point à la classe de plus grande probabilité. C’est le classifieur de Bayes, optimal pour une raison presque trop courte pour être une preuve : en chaque $x$, la chance de se tromper vaut $1 - \max_j P(Y = j \mid X = x)$, et aucune règle ne la rend plus petite en ce point. Optimal partout signifie optimal en moyenne.

Ce qu’il laisse derrière lui,

$$1 - E\left[\max_j P(Y = j \mid X)\right],$$

est le taux d’erreur de Bayes - le pendant en classification de l’erreur irréductible, non nul parce que les classes se recouvrent véritablement.

Deux classes gaussiennes sur la droite, $N(-1{,}25, 1)$ et $N(1{,}25, 1)$, également probables. Les densités étant symétriques, la frontière est le milieu $x = 0$ et le taux d’erreur vaut $\Phi(-1{,}25) = 0{,}105650$. Intégrer le mélange sur quatre millions de points de grille concorde à six décimales.

B. Les a priori déplacent la frontière - dans quel sens ?

Rendons la classe 1 plus fréquente, $\pi_1 = 0{,}7$. La frontière résout $\pi_1 f_1(x) = \pi_2 f_2(x)$ :

$$x = \frac{\sigma^2 \log(\pi_1/\pi_2) + (\mu_2^2 - \mu_1^2)/2}{\mu_2 - \mu_1} = +0{,}338919 .$$

Elle se déplace vers la classe la plus rare, agrandissant la région de la classe fréquente. Le contraire est une supposition tentante - la classe abondante n’a-t-elle pas besoin de moins de place ? - et elle est fausse : un point proche de zéro a désormais plus de chances d’être de classe 1 précisément parce qu’il y a davantage de classe 1 d’où venir.

Ignorer l’a priori coûte $0{,}012084$ à 0,7 et fait plus que doubler l’erreur à 0,9. Cela vaut d’être vérifié numériquement plutôt que d’accorder confiance à l’algèbre : la frontière dérivée a été confirmée optimale contre une grille de 240 001 seuils, ce qui est exactement le contrôle qui attrape une erreur de signe - et l’a attrapée, à la première tentative de cet article.

C. L’imiter en comptant

Les données réelles n’ont pas $P(Y \mid X)$. Les k plus proches voisins l’estiment aussi directement que possible - prendre les $k$ points d’entraînement les plus proches et utiliser leurs proportions - puis appliquent la règle de Bayes à cette estimation. Rien n’est ajusté à l’avance ; le jeu d’entraînement est le modèle.

Sur un problème bidimensionnel d’erreur de Bayes $0{,}092708$, ajusté sur 200 points d’entraînement et évalué sur 20 000 :

Les extrémités sont la leçon. À $k = 1$, l’erreur d’entraînement est exactement nulle tandis que l’erreur de test, $0{,}138200$, est la pire du tableau hormis le $k = 199$ dégénéré - la démonstration la plus nette disponible que l’erreur d’entraînement n’estime rien. À $k = 199$ sur 200, presque tout l’échantillon vote à chaque prédiction, le classifieur cesse de dépendre de $x$, et son erreur est essentiellement l’a priori de classe.

Entre les deux se trouve le U que prédit la décomposition biais-variance, avec une meilleure valeur de $0{,}097150$ en $k = 15$ - à moins d’un demi-point du plancher, pour une méthode qui n’a rien supposé de la forme de la frontière.

D. Modéliser les classes plutôt que la frontière

La régression logistique est discriminative : elle vise directement $P(Y \mid X)$. L’analyse discriminante est générative - elle modélise $P(X \mid Y = k)$ comme gaussienne pour chaque classe, avec les a priori, et inverse par le théorème de Bayes.

Supposons une covariance $\Sigma$ partagée. En passant au logarithme et en supprimant ce qui ne dépend pas de $k$, il reste $\log \pi_k - \frac{1}{2}(x - \mu_k)^\top \Sigma^{-1}(x - \mu_k)$. Développez : le terme $x^\top \Sigma^{-1} x$ ne mentionne jamais $k$, il s’annule donc lorsqu’on compare les classes, et ce qui survit,

$$\delta_k(x) = x^\top \Sigma^{-1} \mu_k - \tfrac{1}{2}\mu_k^\top \Sigma^{-1}\mu_k + \log \pi_k ,$$

est linéaire en $x$. La linéarité est une conséquence de la covariance partagée, non un choix de modélisation indépendant. Donnez à chaque classe son $\Sigma_k$ et le terme quadratique demeure : la frontière s’incurve. C’est l’ADQ, à $K$ fois les paramètres de covariance.

E. Quand l’hypothèse partagée échoue, et quand elle vous sauve

Classe A à l’origine avec corrélation $+0{,}75$ ; classe B en $(1{,}5\,;\,1{,}5)$ avec corrélation $-0{,}75$. Aucune covariance unique ne décrit les deux : la frontière optimale s’incurve donc véritablement, et intégrer le mélange donne un plancher de $0{,}092708$. Sur 200 points d’entraînement et 200 000 points de test :

La covariance regroupée l’explique : moyenner $+0{,}75$ contre $-0{,}75$ donne un terme hors diagonale de $-0{,}046809$, proche de zéro, qui ne décrit aucune des deux classes. L’ADQ estime $+0{,}685607$ et $-0{,}722339$ séparément et se pose $0{,}0008$ au-dessus du plancher.

Notez le diagnostic. Ce qui identifie le problème de l’ADL comme du biais est l’écart au plancher, non l’écart à l’ADQ - sans la référence, vous sauriez seulement qu’une méthode en a battu une autre, ce qui est compatible avec la médiocrité des deux.

Renversons maintenant. Un second problème dont la vraie frontière est bien linéaire, plancher $0{,}244211$, moyenné sur 400 exécutions :

L’ADQ n’est pas fausse ici - un modèle quadratique contient le linéaire, son biais est donc nul et toutes deux convergent vers le plancher. Elle ne peut simplement pas s’offrir ses paramètres à $n = 20$. L’écart se referme de façon monotone, ce qui est l’arbitrage biais-variance apparaissant comme règle de sélection de modèle plutôt que comme schéma.

Deux de ces trois nombres tiennent à la population et non à un ajustement, et la figure ci-dessous les calcule : le plancher de Bayes à 0,092708 et l'erreur de la droite vers laquelle LDA converge avec des données illimitées, 0,114143. L'écart entre les deux est le biais de LDA, et aucune quantité de données ne l'efface : le 0,118955 mesuré plus haut, c'est ce biais plus l'erreur d'estimation d'un ajustement sur 200 points. Cette droite n'est même pas la meilleure possible : la droite qui minimise l'erreur, parallèle à celle de LDA mais décalée vers B, fait 0,106416, car LDA suppose une covariance que les classes ne partagent pas. Ramenez la corrélation à zéro et regardez la courbe se poser sur la droite, le biais disparaissant : c'est la prémisse du renversement qui suit.

F. Ce qu’un taux d’erreur unique dissimule

Chaque chiffre ci-dessus est un nombre unique, et les nombres uniques cachent la forme des erreurs. Le $0{,}093480$ du classifieur ADQ se décompose ainsi :

Sensibilité $0{,}961083$, spécificité $0{,}851753$. Il est nettement meilleur à une tâche qu’à l’autre.

Avant d’incriminer l’ajustement, calculez ce que fait la règle de Bayes classe par classe : sensibilité $0{,}952845$, spécificité $0{,}861738$. Le classifieur optimal est asymétrique lui aussi, dans presque la même mesure. Les deux classes sont aussi étalées l’une que l’autre, mais le grand axe d’A pointe vers B (variance 1,75 le long de la droite qui joint les centres) tandis que B est étroite dans cette direction (0,25) - la queue d’A déborde dans la région de B, et la règle optimale cède davantage d’A en échange. Le déséquilibre appartient au problème, non au modèle, et la façon de le savoir est de calculer la référence plutôt que de raisonner à son sujet.

G. Le seuil est une décision, pas un réglage par défaut

Le seuil ne fait pas partie du modèle. Le déplacer change la règle de décision alors que chaque paramètre ajusté reste en place :

Le taux d’erreur dit que 0,5 est le meilleur, mais il pèse également un faux positif et un faux négatif, et cette pondération est une hypothèse. Là où un positif manqué coûte dix fois une fausse alerte, minimiser le taux d’erreur c’est minimiser la mauvaise quantité.

Balayer le seuil et relever chaque paire (taux de faux positifs, taux de vrais positifs) trace la courbe ROC, dont l’aire a une lecture exacte : la probabilité qu’un positif tiré au hasard soit mieux noté qu’un négatif tiré au hasard. Calculer cette aire par la règle du trapèze et calculer la statistique $U$ de Mann-Whitney sur les scores bruts concordent ici à la précision des flottants près - l’équivalence est une identité, non une approximation. Sur tous les seuils, l’ADQ obtient $0{,}965269$ contre $0{,}933488$ pour l’ADL.

Comme seul l’ordre compte, l’AUC est aveugle à la calibration : un modèle qui classe parfaitement en annonçant chaque probabilité entre $0{,}98$ et $0{,}99$ a une AUC de 1.

La figure ci-dessous est la règle optimale de ce problème, intégrée et non ajustée : sa ligne par défaut est donc la référence citée plus haut, 9,27 % d'erreur, 0,953 de sensibilité, 0,862 de spécificité. Déplacez le seuil et rien n'est réestimé ; seule bouge la ligne entre oui et non, et les quatre cases se rééquilibrent. Rendez ensuite la classe B rare, un cas sur cent. La sensibilité et la spécificité ne bougent pas, car ni l'une ni l'autre ne voit la rareté de la classe, tandis que l'exactitude rejoint la spécificité et que la précision s'effondre.

Points clés

• Le classifieur de Bayes est optimal et exige la réponse pour être calculé, ce qui fait des données simulées le seul endroit où la marge restante d’une méthode est visible.
• Les a priori déplacent la frontière vers la classe la plus rare ; les ignorer a coûté $0{,}012084$ à un partage 0,7/0,3 et doublé l’erreur à 0,9/0,1.
• Dans les k plus proches voisins, $k$ est le bouton de flexibilité : erreur d’entraînement nulle à $k = 1$, a priori de classe à $k \approx n$, et la meilleure valeur entre les deux.
• Une covariance partagée est ce qui rend linéaire une frontière discriminante. Le choix de la partager est dicté autant par la taille d’échantillon que par la vérité.
• Diagnostiquez le biais contre le plancher de Bayes, non contre une méthode concurrente.
• Rapportez la matrice de confusion avant l’exactitude, choisissez le seuil d’après les coûts, et lisez l’AUC comme un classement et non une calibration.

Et ensuite

Toutes les méthodes vues ici traçaient une frontière à partir d’un modèle ajusté. Les ensembles empruntent une autre voie - ajuster de nombreux modèles faibles et les combiner - et la raison pour laquelle cela fonctionne est un argument de variance et non de biais.