Ce qu'un échantillon peut et ne peut pas vous dire

Presque tout ce que vous lirez de quantitatif repose sur un même geste : quelqu'un a mesuré quelques choses et a dit quelque chose des nombreuses choses qu'il n'a pas mesurées. Un essai sur 200 patients devient une affirmation sur un traitement. Un sondage auprès de 1 000 électeurs devient un chiffre au journal.

Ce geste s'appelle l'inférence, et il n'a rien de magique. Il a des règles, il a un coût, et il comporte trois endroits où la conclusion est couramment énoncée plus fortement que l'arithmétique ne l'autorise. Cet article parcourt ces trois endroits, et chaque chiffre ci-dessous a été calculé avant d'être écrit - exactement lorsqu'une réponse exacte existe, et par simulation à graine déclarée sinon.

Une estimation est elle-même une chose aléatoire

Commençons par l'idée qui rend le reste possible. Quand vous calculez une moyenne sur un échantillon, cette moyenne n'est pas un fait sur le monde ; c'est un fait sur votre échantillon. Tirez-en un autre et vous obtenez un autre nombre. L'estimation possède donc une distribution qui lui est propre, et comprendre l'inférence, c'est penser à cette distribution plutôt qu'au nombre unique que vous avez obtenu.

Deux choses la décrivent. Le biais dit si l'estimateur est centré sur la vérité - si, moyenné sur tous les échantillons que vous auriez pu tirer, il tombe sur la bonne réponse. La variance dit à quel point il bouge d'un échantillon à l'autre.

L'illustration classique est la formule de la variance. Si vous mesurez la dispersion de vos données autour de la moyenne empirique et divisez par $n$, vous obtenez une réponse systématiquement trop petite - du facteur exact $(n-1)/n$, soit neuf dixièmes à $n = 10$. La raison mérite une pause : la moyenne empirique est, par construction, le point le plus proche de vos données. Mesurer la dispersion depuis elle sous-estime donc la dispersion autour de la vraie moyenne, qui est ailleurs. Diviser par $n-1$ restitue exactement ce qui a servi à localiser le centre.

Simuler 400 000 échantillons de taille 10 issus d'une population normale de variance 4 le confirme : la version $1/n$ donne en moyenne $3,600955$ contre une prédiction de $3,6$, et la version $1/(n-1)$ donne $4,001062$.

Là où « sans biais » se révèle pire

Voici la partie que l'on saute d'habitude, et c'est la plus utile.

Être juste en moyenne n'est pas être proche. La mesure naturelle de « proche » est l'erreur quadratique moyenne, qui se décompose exactement en biais au carré plus variance. Sur ces mêmes 400 000 échantillons :

• l'estimateur biaisé $1/n$ a une erreur quadratique moyenne de $3,045665$
• l'estimateur sans biais $1/(n-1)$ en a $3,563493$

L'estimateur sans biais est le pire des deux, et pas de peu. Ce ne sont pas des artefacts de simulation - pour une population normale, les valeurs exactes sont $\sigma^4(2n-1)/n^2 = 3,04$ et $2\sigma^4/(n-1) = 3,555556$, et la simulation tombe à moins d'un quart de pour cent de chacune. Diviser par le plus grand nombre rétrécit légèrement chaque estimation vers zéro, et la variance ainsi achetée vaut davantage que le biais qu'elle coûte.

C'est le compromis biais-variance sous sa forme la plus pure, et c'est la raison pour laquelle les méthodes qui introduisent délibérément du biais - régression ridge, rétrécissement, presque toute la régularisation - ne sont pas des compromis mais des améliorations.

Autre conséquence de cette distribution : sa largeur décroît en $1/\sqrt{n}$. Avec un écart-type de population de 2, l'erreur type de la moyenne vaut $0,4$ à $n = 25$ et $0,2$ à $n = 100$. Diviser votre incertitude par deux coûte quatre fois plus de données. Ce seul fait gouverne le budget de toute étude jamais conçue.

Ces quatre nombres ont tous une forme close, alors la figure ci-dessous les calcule au lieu de les simuler : 3,6 et 4 pour les deux recettes en moyenne, 3,04 et 3,5556 pour leurs erreurs quadratiques. Faire glisser la taille d'échantillon règle ce que cette section n'affirme qu'à une seule taille : pour des données normales, la recette biaisée est plus proche à TOUTE valeur de n, car (2n-1)(n-1) est inférieur à 2n au carré pour tout n, et l'avantage s'efface à mesure que l'échantillon grandit.

Ce qu'un intervalle de confiance promet réellement

Un nombre isolé cache sa propre précision : on rapporte donc une plage. La promesse attachée à un intervalle de confiance à 95 % est précise, et ce n'est pas celle que l'on énonce le plus souvent.

La promesse porte sur la procédure : construisez des intervalles ainsi, échantillon après échantillon, et 95 % d'entre eux contiendront la vraie valeur. Ce n'est pas un énoncé sur l'intervalle affiché à votre écran. Une fois les données recueillies et les nombres fixés, votre intervalle contient la vérité ou non - il ne reste rien d'incertain. Dire « il y a 95 % de chances que la vraie valeur soit là-dedans » traite une inconnue fixe comme si elle était aléatoire.

Cette distinction paraît pédante jusqu'à ce que l'on voie ce qui arrive quand la procédure est légèrement fausse.

Deux façons dont la recette standard échoue

Utiliser le mauvais quantile. Quand vous ignorez la dispersion de la population et devez l'estimer sur le même petit échantillon, il y a deux sources d'incertitude, et le familier $1,959964$ de la loi normale n'en couvre qu'une. À $n = 10$, un intervalle bâti avec lui couvre la vérité $0,918351$ du temps, pas $0,95$. Ce chiffre est exact, non simulé, pour une population normale ; sur des données fortement asymétriques les deux quantiles ne sont que des approximations. La loi de Student existe précisément pour corriger cela, et son quantile à 9 degrés de liberté vaut $2,262157$ - nettement plus large. À 29 degrés de liberté il est déjà retombé à $2,045230$.

Dimensionner la largeur depuis le même faux pas. L'intervalle usuel pour une proportion est pire, et il échoue de façon instructive. Comme une binomiale a un nombre fini d'issues, sa couverture se calcule exactement en les énumérant toutes. À $n = 50$ :

À $p = 0,1$, les 95 % annoncés valent en réalité 87,9 %. Le mécanisme : le même échantillon malchanceux déplace le centre et dimensionne mal la largeur, si bien que les deux erreurs se renforcent au lieu de se compenser.

À $p = 0,01$ il s'effondre complètement, couvrant $0,394848$. La raison est nette : $0,605006$ des échantillons de 50 ne contiennent aucun succès, et quand l'estimation vaut zéro l'erreur type estimée vaut zéro aussi : l'intervalle se réduit au point $0$ - qui manque la cible.

La partie qui devrait clore les règles de pouce

On pourrait espérer que « vérifier $np > 5$ » protège de cela. Ce n'est pas le cas, car la couverture ne s'améliore pas régulièrement avec les données. Toujours à $p = 0,2$, l'intervalle usuel couvre :

• $0,951214$ à $n = 23$
• $0,872862$ à $n = 24$

Une observation de plus coûte près de huit points de couverture. Ici $np$ vaut 4,6 puis 4,8, donc la règle aurait signalé les deux tailles, mais elle laisse passer $n = 32$ ($np = 6,4$), où la couverture chute encore de six points depuis $n = 31$, de $0,949835$ à $0,890191$. La couverture baisse d'une taille à la suivante à 29 des 180 pas entre 20 et 200 : la plupart des baisses font un à trois points, et trois dépassent cinq points. Une binomiale à $n+1$ issues dispose d'un ensemble d'intervalles atteignables entièrement différent quand $n$ change : la couverture saute donc lorsque des issues entières franchissent la frontière. Aucun seuil sur $n$ ne rend l'intervalle usuel sûr, et c'est l'argument honnête pour en utiliser un meilleur.

La figure ci-dessous exécute cette énumération pour toutes les tailles d'échantillon de 20 à 200 d'un seul coup. Rien n'y est simulé : chaque point est une somme finie sur les n + 1 issues possibles. Partez de n = 23, où l'intervalle classique couvre 0,951 et paraît irréprochable, puis avancez d'un pas jusqu'à 24 et regardez huit points s'évaporer. Passez ensuite à p = 0,01 pour voir l'échec sous sa forme la plus crue, et à l'intervalle de Wilson pour voir ce que l'on gagne à prendre la largeur sur p plutôt que sur l'estimation.

Ce dont une valeur p est la probabilité

La troisième idée est la plus mal lue, et l'erreur découle de l'oubli de la façon dont elle se calcule.

Un test d'hypothèses commence par supposer ce dont vous doutez. Supposons qu'il n'y ait aucun effet. Puis demandons : si c'était vrai, à quelle fréquence des données paraîtraient-elles au moins aussi extrêmes que les miennes ? Cette probabilité est la valeur p.

Tout découle de ce que l'hypothèse est faite en premier. La valeur p ne peut pas être la probabilité que l'hypothèse nulle soit vraie, puisque le calcul a déjà fixé la nulle comme vraie. Une quantité conditionnée à une hypothèse ne peut aussi être une probabilité portant sur elle.

Sous une nulle vraie, la valeur p est uniforme sur $[0,1]$ : toutes les valeurs sont également probables. Simuler 50 000 tests sur des échantillons de 25 issus d'une nulle vraie donne une distance de Kolmogorov-Smirnov de $0,004299$ à la loi uniforme, avec $0,0499$ des valeurs p sous $0,05$. Une valeur p de $0,03$ n'est pas plus rare qu'une de $0,53$ ; elle tombe simplement dans une région déclarée intéressante.

La puissance décide de ce que vaut un résultat nul

La quantité compagne est la puissance : la probabilité de trouver un effet réellement présent. Elle est fixée par le protocole, avant que la moindre donnée existe, et c'est toujours une puissance contre une taille d'effet précise. Pour un test t bilatéral à un échantillon (ou apparié) sur $n$ observations, cherchant un demi écart-type, calculé à partir de la loi de Student décentrée :

Atteindre les 80 % conventionnels demande $n = 34$. Une étude de 25 rapportant « aucun effet significatif » aurait donc manqué un effet réel de cette taille un tiers du temps. En cherchant un cinquième d'écart-type, le même protocole a une puissance de $0,160504$ - il manque cinq fois sur six. L'absence de preuve n'est preuve d'absence qu'à proportion de la puissance.

Pourquoi la plupart des résultats significatifs peuvent être faux

Réunissons les deux, sans qu'aucun test ne se comporte mal nulle part.

Menez 20 tests indépendants sur des hypothèses toutes nulles. La probabilité qu'au moins un ressorte significatif à $0,05$ vaut $1 - 0,95^{20} = 0,641514$. Rien n'a cassé : chaque test se trompe 5 % du temps exactement comme annoncé, et 20 occasions rendent cela probable.

Pire, supposons qu'une hypothèse sur dix seulement soit vraie, avec une puissance de $0,8$ et $\alpha = 0,05$. Pour 100 hypothèses testées, les tests trouvent 8 effets réels et lèvent 4,5 fausses alertes parmi les 90 nulles. Le taux de fausses découvertes vaut donc

$$\frac{0{,}9 \times 0{,}05}{0{,}1 \times 0{,}8 + 0{,}9 \times 0{,}05} = 0{,}36$$

Plus d'un tiers des résultats significatifs sont faux, alors que chaque test individuel fonctionne exactement selon sa spécification. Ce qui a fait les dégâts, c'est le taux de base - combien d'hypothèses étaient vraies au départ. Le seuil de Bonferroni $0,05/20 = 0,0025$ ramène l'erreur par famille à $0,048830$, et le paie en puissance sur chaque test.

La figure ci-dessous dispose cent hypothèses en carrés et applique à toutes le protocole que vous choisissez. La puissance n’est pas un curseur : elle est calculée à partir de la taille d’échantillon et de l’effet recherché, via la loi de Student décentrée, si bien que la courbe à côté de la grille est le tableau ci-dessus avec les trous comblés. Réduisez le taux de base et les carrés ambrés - des hypothèses nulles déclarées significatives - finissent par l’emporter sur les verts, sans que rien n’ait été mal appliqué. Resserrez ensuite le seuil : la protection se paie sur la puissance.

Le fil conducteur

Les trois idées partagent une forme. Une estimation, un intervalle et une valeur p répondent chacun à une question étroite et bien posée, et chacun est couramment lu comme répondant à une question plus large qui intéresse davantage.

L'estimation dit où pointent les données, non à quelle distance elle est. L'intervalle décrit le comportement à long terme d'une procédure, non la chance qu'a le vôtre d'avoir raison. La valeur p dit à quel point les données surprendraient s'il ne se passait rien, non combien croire qu'il se passe quelque chose.

Lire chacun pour ce qu'il est ne coûte rien, et c'est la différence entre se servir de la statistique et se faire servir par elle.

Le parcours Inférence statistique travaille les trois en détail, avec les calculs exécutables et modifiables dans le navigateur.