Stationnarité et régression fallacieuse

Voici un résultat reproductible en dix lignes, et il devrait inquiéter.

Prenez deux séries qui n’ont strictement aucun rapport entre elles : engendrées à partir de nombres aléatoires distincts, sur des lignes distinctes d’un script, sans la moindre entrée commune. Régressez l’une sur l’autre et testez la pente au seuil habituel de 5 %.

Sur 2 000 paires de 200 points, la pente ressort significative dans 82,8 % des cas.

Pas 5 %, ce qu’un test valide devrait donner sur des données sans lien. Quatre-vingt-trois pour cent. L’arithmétique est juste, les nombres aléatoires sont corrects, et les p-values sortent de la formule qui fonctionne ailleurs.

Ce qu’étaient ces séries

Chacune est une marche aléatoire : partir de zéro et ajouter à chaque pas un tirage indépendant d’une loi normale standard.

$$X_t = X_{t-1} + \varepsilon_t, \qquad \varepsilon_t \sim N(0, 1) \text{ indépendants}$$

Rien n’y est caché. Deux séries construites sur des tirages séparés sont indépendantes par construction, et aucune contemplation ne rendra l’une informative sur l’autre.

Pourquoi le test échoue

Une marche aléatoire n’a aucun niveau où revenir. Quelle que soit la valeur atteinte, le pas suivant repart de là plutôt que d’une position de repos, si bien que l’écart s’accumule au lieu de se compenser.

Cela se voit sur une variance qui croît avec le temps. Mesurée sur 3 000 réplications :

À peu près $t$ lui-même, ce qui est la réponse théorique : la somme de $t$ pas indépendants de variance unitaire a pour variance $t$.

Imaginez maintenant deux telles séries sur 200 points. Chacune part quelque part et y reste un moment, parce que s’éloigner est facile et revenir ne l’est pas. Sur toute fenêtre finie, deux séries errantes dérivent très souvent dans une direction cohérente l’une par rapport à l’autre, et le nuage de points de l’une contre l’autre ressemble à une droite.

La régression n’a aucun moyen d’en tenir compte. Elle a été construite en supposant des observations indépendantes : elle compte 200 points de dérive partagée comme 200 éléments de preuve indépendants. Ils en valent plutôt un.

Une seule paire ne prouverait rien : vous seriez en droit de supposer qu’on vous a montré celle qui s’alignait par chance. La figure ci-dessous montre donc une paire et, à côté, le taux de rejet sur quatre cents autres tirées de la même façon. Tirez une autre paire autant de fois que vous voulez. Passez ensuite aux différences premières : ce sont les mêmes paires, rien n’a changé dans les données, et le taux tombe de quatre sur cinq à un sur vingt.

La stationnarité, énoncée

Une série est stationnaire quand son comportement statistique ne dépend pas du moment où on la regarde. La version stricte dit que la loi jointe de tout bloc d’observations est inchangée par décalage temporel. La version utilisée en pratique, dite faible ou de covariance, demande trois choses :

1. la moyenne $E[X_t] = \mu$ ne dépend pas de $t$
2. la variance $\mathrm{Var}(X_t) = \sigma^2$ ne dépend pas de $t$
3. la covariance $\mathrm{Cov}(X_t, X_{t+k}) = \gamma_k$ ne dépend que de l’écart $k$, et non de l’endroit où se place la fenêtre

La marche aléatoire échoue aux deux dernières. Sa variance vaut $t$, et sa structure de covariance se déplace avec la fenêtre.

Pourquoi cela compte davantage pour l’inférence que pour la description : toute estimation emprunte de la force à l’ensemble des observations, ce qui n’a de sens que si ces observations décrivent le même processus. Quand le niveau erre, une moyenne sur la fenêtre est une moyenne sur des mondes différents, et un intervalle de confiance autour d’elle décrit une quantité qui n’a jamais existé.

La réparation, et son coût

Une marche aléatoire est la somme cumulée de ses pas : prendre les différences premières les restitue.

$$\nabla X_t = X_t - X_{t-1} = \varepsilon_t$$

Ces pas sont indépendants, de moyenne nulle et de variance constante, exactement les conditions dont le test a besoin. Régresser les mêmes 2 000 paires en différences premières donne un taux de significativité de 4,2 %, contre les 5 % qu’un test valide doit produire.

Le coût n’est pas nul, et mieux vaut l’énoncer que l’enfouir. Le modèle différencié relie les variations d’une série aux variations de l’autre. Si la question portait sur les niveaux, elle a été remplacée par une autre question, et la réponse doit être présentée comme la réponse à celle-là.

La différenciation n’est pas non plus un remède universel. Elle retire une tendance stochastique, mais appliquée à une série déjà stationnaire elle ajoute du bruit pour rien. Une tendance déterministe droite se traite mieux en l’ajustant puis en la soustrayant. Une variance qui croît multiplicativement appelle d’abord un logarithme.

L’habitude que cela doit laisser

Davantage de données ne vous sauve pas ici. Le taux de rejet fallacieux ne baisse pas quand la série s’allonge : il monte, parce qu’une fenêtre plus longue laisse aux deux séries plus de place pour errer. C’est la signature d’un biais et non d’un bruit, et c’est la même forme de problème que la confusion : une propriété de la façon dont les données sont nées, pas de leur quantité.

La première question sur toute série est donc la stabilité de son comportement dans le temps, et le premier outil honnête est un graphique. Un niveau errant ou une dispersion qui s’élargit se voient en général. Des tests formels existent, mais leur puissance est faible contre des alternatives lentes : un test qui ne rejette pas est une preuve faible de stationnarité, pas un feu vert.

Ce que cela prépare

La stationnarité est la condition qui donne un sens au reste de la boîte à outils. La question suivante est ce que cette boîte mesure alors : si une série est stationnaire, sa dépendance à son propre passé est une chose stable et estimable, et cette dépendance est à la fois ce qui rend la prévision possible et ce qui rend les écarts-types usuels faux d’un facteur calculable.