Ce que calcule un réseau

Un réseau de neurones est une composition de fonctions simples avec des constantes réglables. Rien dans cette phrase n’est métaphorique, et cette leçon la rend concrète avant tout entraînement.

Une couche est une fonction avec des paramètres

La couche entièrement connectée standard - dense - calcule

$$\mathbf{h} = \sigma(W\mathbf{x} + \mathbf{b}),$$

où $W$ est une matrice de poids, $\mathbf{b}$ un vecteur de biais et $\sigma$ une non-linéarité appliquée élément par élément. Deux choses distinctes s’y produisent : une application affine $W\mathbf{x} + \mathbf{b}$, puis une non-linéarité appliquée à chaque coordonnée indépendamment.

Le cadrage de Chollet est utile : les couches sont les briques de l’apprentissage profond, et la forme des données sélectionne la brique. Les vecteurs vont aux couches denses ; les séquences en tenseurs 3D vont aux couches récurrentes ou de convolution 1D ; les images en tenseurs 4D vont aux couches de convolution 2D.

Compter les paramètres

Une couche dense de $n$ entrées vers $m$ sorties contient une matrice $m \times n$ plus un biais par unité de sortie :

$$\text{parameters} = mn + m .$$

De 4 entrées vers 3 sorties, cela fait $3 \times 4 + 3 = 15$. Oublier le vecteur de biais est la faute habituelle et donne 12.

Pourquoi la non-linéarité n’est pas optionnelle

Supposons que nous supprimions $\sigma$ et empilions trois couches denses :

$$W_3\big(W_2(W_1\mathbf{x} + \mathbf{b}_1) + \mathbf{b}_2\big) + \mathbf{b}_3 .$$

Développez. Les matrices de poids s’effondrent en un unique produit $W = W_3W_2W_1$ et les biais en un unique vecteur, laissant $W\mathbf{x} + \mathbf{b}$ - une application affine. Trois couches, et la famille de fonctions est exactement ce qu’une seule couche pouvait déjà exprimer.

La profondeur seule n’achète rien. Une composition d’applications affines est affine. Le pouvoir expressif que la profondeur apporte n’arrive qu’une fois qu’une non-linéarité s’intercale entre les couches, et c’est pourquoi $\sigma$ est structurelle et non décorative.

La ReLU, précisément

Le choix standard est l’unité linéaire rectifiée :

$$\text{ReLU}(z) = \max(0, z).$$

Raschka le dit simplement : elle rabat les entrées négatives à 0. C’est toute la définition. Elle n’écrase pas les valeurs dans $(0,1)$ - c’est la sigmoïde logistique - et elle ne normalise rien.

Son effet sur la passe arrière compte autant que sur la passe avant : la dérivée vaut $1$ là où $z > 0$ et $0$ là où $z < 0$, de sorte qu’une unité inactive pour un exemple ne laisse repasser aucun gradient pour cet exemple.

Une passe avant déroulée

Deux entrées, deux unités cachées, une sortie :

$$\mathbf{x} = \begin{bmatrix}1\\2\end{bmatrix}, \quad W^{(1)} = \begin{bmatrix}0.1&0.3\\0.2&0.4\end{bmatrix}, \quad W^{(2)} = \begin{bmatrix}0.5&-0.5\end{bmatrix}$$ $$\mathbf{z}^{(1)} = \begin{bmatrix}0.1(1)+0.3(2)\\0.2(1)+0.4(2)\end{bmatrix} = \begin{bmatrix}0.7\\1.0\end{bmatrix}$$

Les deux entrées sont positives, la ReLU les laisse donc inchangées, et

$$\hat y = 0.5(0.7) - 0.5(1.0) = -0.15 .$$

Ce seul nombre est ce que le réseau croit actuellement. La leçon suivante demande à quel point il se trompe et pousse cette erreur à rebours jusqu’à chaque poids.

La figure ci-dessous est ce même réseau, en coupe : la sortie en fonction de la première entrée, la seconde étant au curseur. Retirez la nonlinéarité et la coupe devient une droite, car les deux couches se multiplient en la seule ligne [-0,05 ; -0,05]. L’écart à l’affinité tombe à zéro à la précision machine, et l’effondrement devient vérifiable plutôt que postulé.

Remettez ReLU et regardez où vous vous tenez. À l’entrée traitée (1, 2) les deux unités sont allumées, le redresseur ne fait donc rien du tout, et le réseau comme sa forme réduite renvoient -0,15. La nonlinéarité ne gagne son salaire qu’en franchissant une frontière : en (2 ; -1,5) les deux unités sont éteintes et les réponses valent 0 et -0,025.

La profondeur n’achète donc pas une courbe. Elle achète des régions, dont chacune reste une application affine, et les brisures de la coupe sont exactement là où une pré-activation traverse zéro. Cela vaut d’être emporté vers la leçon suivante, car c’est aussi pourquoi une unité éteinte ne renvoie aucun gradient.

Poursuivez avec la rétropropagation et la descente de gradient pour le traitement général.