Au-delà de la linéarité : splines et modèles additifs

La régression linéaire suppose qu’un prédicteur agit en ligne droite. Quand ce n’est pas le cas, l’instinct est d’aller chercher un algorithme plus souple. Il existe un geste moins coûteux, qui conserve les moindres carrés et tout ce qui est bâti dessus, et ne change que ce sur quoi vous régressez.

A. Les fonctions de base

Choisissez des transformations de $X$ fixées et connues à l’avance, $b_1(X), \dots, b_K(X)$, et ajustez

$$y_i = \beta_0 + \beta_1 b_1(x_i) + \cdots + \beta_K b_K(x_i) + \varepsilon_i .$$

La régression polynomiale est le cas $b_j(x) = x^j$. Les fonctions en escalier sont le cas des indicateurs de classes, utiles là où existent de vrais points de rupture et médiocres sinon, puisqu’une classe ne peut montrer aucune tendance en son sein. Le mot important est fixées : les transformations sont choisies, non estimées, et c’est donc un modèle linéaire dans les nouvelles colonnes. Erreurs types, statistiques $F$ et intervalles de confiance se transposent tous.

B. Les polynômes par morceaux cassent, les contraintes les réparent

Au lieu d’un unique polynôme global, ajustez une cubique dans chaque région, découpée aux nœuds. Avec un nœud, cela fait deux cubiques de quatre paramètres chacune : huit degrés de liberté. Rien n’oblige les morceaux à se rejoindre, et ils ne le font pas. Sur 200 points simulés avec des nœuds en 40, 50 et 60, la valeur ajustée saute respectivement de 6,34, 5,55 et 6,26 unités - ce n’est pas de l’arrondi, c’est une courbe réellement discontinue.

Le remède, ce sont les contraintes : la continuité, puis une dérivée première continue, puis une dérivée seconde continue. Chacune supprime exactement un paramètre, d’où $8 - 3 = 5$, et le résultat est une spline cubique. En général, une spline cubique à $K$ nœuds utilise $K + 4$ degrés de liberté, puisque chaque nouveau nœud ajoute une cubique et trois contraintes.

C. La colonne qui impose la régularité gratuitement

Les moindres carrés sous contraintes sont évitables. Partez de $x, x^2, x^3$ et ajoutez une colonne de puissance tronquée par nœud,

$$h(x, \xi) = (x - \xi)_+^3 = \begin{cases} (x - \xi)^3 & x > \xi \\ 0 & \text{otherwise,} \end{cases}$$

et les contraintes s’imposent d’elles-mêmes. L’affirmation est vérifiable. Pour $f(x) = 1 + 2x - 0.05x^2 + 0.001x^3 + 0.004(x-50)_+^3$, la différentiation de part et d’autre du nœud donne

$$\begin{array}{lrrl} & \text{left} & \text{right} & \text{jump} \\ \hline f & 100.9996 & 101.0005 & 9 \times 10^{-4} \\ f' & 4.49998 & 4.50002 & 4 \times 10^{-5} \\ f'' & 0.200006 & 0.200010 & 4 \times 10^{-6} \\ f''' & 0.006 & 0.030 & 0.024 \end{array}$$

Les trois premiers sont de l’erreur de différentiation numérique. Le dernier est réel et vaut exactement $6\beta_4$. Une spline cubique est lisse jusqu’à la dérivée seconde et ne se rompt qu’à la troisième - la seule rupture que l’œil ne sache détecter.

En différenciant la courbe ajustée à chaque nœud, les sauts sont d’ordre $10^{-4}$ ou moins, contre plus de six unités pour l’ajustement sans contraintes sur des données et des nœuds identiques. Seules les colonnes ont changé.

Les splines se comportent malgré tout mal aux bords, où une cubique n’a de données que d’un seul côté. Une spline naturelle exige la linéarité au-delà des nœuds extrêmes - deux contraintes à chaque extrémité - ce qui ramène $K + 4$ degrés de liberté à $K$ et rétrécit visiblement les bandes de confiance au bord. Et voilà pourquoi les splines l’emportent sur les polynômes à souplesse égale : un polynôme élève son degré globalement et oscille dans les queues, tandis qu’une spline ajoute une fonction de base nulle jusqu’à son nœud.

La figure ci-dessous ajuste les deux bases au même échantillon, et la base est un interrupteur. Avec les colonnes de puissances tronquées, la courbe est continue en f, f′ et f′′ à chaque nœud - et ce sont des zéros exacts, non de petits nombres, car la base ne peut pas exprimer de rupture là où les moindres carrés iraient la chercher. Passez à une cubique libre par région et les mêmes données, les mêmes nœuds et les mêmes moindres carrés déchirent la courbe. Faites glisser les nœuds où vous voulez : la régularité ne dépend pas de leur position.

D. Pénaliser la rugosité plutôt que choisir des nœuds

Une spline de lissage supprime entièrement la sélection des nœuds. Minimisez

$$\sum_{i=1}^{n}\big(y_i - g(x_i)\big)^2 + \lambda \int g''(t)^2\,\mathrm{d}t .$$

La dérivée seconde mesure la rugosité - nulle pour une droite - et l’intégrale totalise donc l’ondulation. Le minimiseur est une spline cubique naturelle avec un nœud à chaque observation distincte, rétrécie par $\lambda$.

Cela ressemble à $n$ paramètres et à un surapprentissage assuré ; la résolution tient dans les degrés de liberté effectifs, la trace de la matrice qui envoie $y$ sur les valeurs ajustées. Mesurés sur les mêmes 200 points :

$$\begin{array}{rrr} \lambda & \text{RSS} & \text{effective df} \\ \hline 10^{-6} & 1{,}021 & 186.2 \\ 10^{0} & 10{,}213 & 25.2 \\ 10^{6} & 12{,}801 & 2.06 \\ 10^{18} & 12{,}850.75 & 2.00 \end{array}$$

Tout en bas, l’ajustement a 2,00 degrés de liberté effectifs et une somme des carrés des résidus de $12{,}850.75$, identique au centime près à celle de la droite des moindres carrés ordinaires. La limite n’est pas approximativement une droite ; c’est la droite.

L’autre extrémité appelle une remarque honnête. À $\lambda = 0$ exactement, la pénalité disparaît et toute courbe passant par les 200 points a une RSS nulle : l’objectif seul n’en choisit aucune. La spline naturelle, elle, tranche : avec un nœud en chacun des 200 $x$ distincts, elle compte exactement 200 colonnes pour 200 lignes, et l’ajustement est l’unique spline cubique naturelle interpolante. C’est aussi la limite quand $\lambda \to 0$, où les degrés de liberté effectifs montent jusqu’à exactement $n = 200$.

La régression locale parvient à des fins voisines autrement : en chaque point cible, prendre la fraction $s$ des données les plus proches, pondérer par la distance, et ajuster une droite pondérée. La fenêtre $s$ joue le rôle de $\lambda$, et la méthode est fondée sur la mémoire, puisque chaque prédiction réajuste.

E. Plusieurs prédicteurs, une courbe chacun

Un modèle additif généralisé donne à chaque prédicteur sa propre fonction et les additionne :

$$y_i = \beta_0 + f_1(x_{i1}) + \cdots + f_p(x_{ip}) + \varepsilon_i .$$

Parce qu’elles s’ajoutent, chaque $f_j$ peut être tracée et lue comme l’effet de ce prédicteur, les autres étant maintenus fixes. Cette interprétabilité est la raison de préférer un GAM au boosting ou à une SVM à noyau. Le coût tient dans le même mot : un effet qui n’existe que dans une combinaison de prédicteurs est invisible, sauf à ajouter l’interaction à la main.

Avec des splines naturelles comme composantes, le modèle est un grand ajustement par moindres carrés. Avec des splines de lissage, il s’ajuste par rétro-ajustement, en parcourant les prédicteurs en boucle et en réajustant chacun contre les résidus partiels jusqu’à ce que plus rien ne bouge.

Ce qu’il faut en retenir

Vous n’avez pas besoin d’un nouvel algorithme pour ajuster une courbe. Transformez les colonnes et les moindres carrés s’appliquent encore. Les contraintes achètent de la régularité au prix d’exactement un degré de liberté chacune, et une base bien choisie les rend gratuites. Une pénalité remplace la sélection des nœuds par un unique paramètre de lissage dont les limites sont une interpolation et une droite. Et l’additivité transporte tout cela vers plusieurs prédicteurs en conservant la propriété que les méthodes souples abandonnent : vous pouvez encore dire ce que fait chaque prédicteur. Le parcours de formation Au-delà de la linéarité reprend chacun de ces points à la main et en code.