Quelle mauvaise loi voulez-vous ?

La cible $P$ est un mélange équilibré de deux gaussiennes unitaires en $-4$ et $+4$. Sa moyenne vaut $0$, son écart type $4.1231$, et elle n’a pour ainsi dire aucune probabilité au voisinage de sa propre moyenne.

Le modèle $Q$ est une gaussienne unique. Il ne peut pas représenter $P$, ce qui est la situation ordinaire : la question est de savoir ce que « aussi proche que possible » veut dire.

La divergence de Kullback-Leibler donne deux réponses, parce qu’elle n’est pas symétrique.

A. Deux ajustements

$$D(P \parallel Q) = \int p \log \frac{p}{q}, \qquad D(Q \parallel P) = \int q \log \frac{q}{p}.$$

Minimisez chacune sur la moyenne et l’écart type de $Q$ :

Le premier ajustement couvre les deux modes. Son écart type, 4,1231, est exactement celui de $P$ lui-même, $\sqrt{1 + 16} = \sqrt{17}$ : minimiser $D(P \parallel Q)$ sur les gaussiennes égalise la moyenne et la variance de la cible, et ici cela place le centre au point où $P$ n’a presque aucune masse. Le second se pose sur un mode, à un millième près : moyenne 3,9996 pour un vrai mode en 4, écart type 1,0008 pour un vrai 1. Ces petits écarts viennent de la queue de l’autre composante, qui traverse faiblement le creux.

Les deux réponses sont correctes. Ce sont des réponses à des questions différentes.

B. Pourquoi 0,6931

La valeur de la KL inverse vaut $\ln 2 = 0.6931$ à quatre décimales, et ce n’est pas une coïncidence. Lorsque $Q$ se pose sur une composante, $P \approx \tfrac{1}{2}Q$ partout où $Q$ a de la masse, puisque l’autre composante n’y contribue presque rien. Donc

$$D(Q \parallel P) \approx \int q \log \frac{q}{\tfrac{1}{2} q} = \log 2.$$

Ce « presque » peut être rendu exact. Avec $Q = N(4, 1)$, la cible s’écrit $p = \tfrac{1}{2} q \,(1 + e^{-8x})$, donc

$$D(Q \parallel P) = \ln 2 - \mathbb{E}_q\!\left[\ln\left(1 + e^{-8x}\right)\right],$$

et la correction, la queue de l’autre composante qui traverse le creux, vaut environ $0.0001$. La valeur ajustée est $0.693053$, contre $\ln 2 = 0.693147$.

La pénalité pour avoir ignoré la moitié de la cible est, à cette miette près, le bit d’information nécessaire pour dire quelle moitié a été retenue. C’est une façon nette de voir ce que la KL inverse facture et ne facture pas : elle facture le fait de mettre de la masse là où la cible n’en a pas, et ne facture rien du tout pour ne pas couvrir les autres régions de la cible.

C. Chaque ajustement est un désastre pour l’autre mesure

L’ajustement inverse obtient 15,2799 en KL directe, vingt et une fois pire que les 0,7236 de l’ajustement direct. Ce n’est pas une petite préférence entre deux critères quasi équivalents ; les deux objectifs sont en désaccord sur le modèle utilisable.

L’asymétrie a une direction facile à retenir :

• La KL directe, $D(P \parallel Q)$, cherche la moyenne. L’intégrale est pondérée par $p$ : partout où $P$ a de la masse et $Q$ n’en a pas, le rapport $p/q$ explose. $Q$ est forcée de couvrir tout ce que $P$ couvre, au prix de couvrir beaucoup de ce que $P$ ne couvre pas.
• La KL inverse, $D(Q \parallel P)$, cherche le mode. L’intégrale est pondérée par $q$ : les régions où $P$ a de la masse et $Q$ n’en a pas ne coûtent rien. $Q$ est libre d’ignorer l’essentiel de $P$, pourvu qu’elle évite de mettre de la masse là où $P$ n’en a pas.

D. Celle que vous utilisez déjà

Les deux servent quotidiennement, généralement sans que la direction soit énoncée.

• Le maximum de vraisemblance est la KL directe. Minimiser l’entropie croisée face à la loi des données minimise $D(P \parallel Q)$ à une constante près. C’est pourquoi un ajustement par maximum de vraisemblance s’étale : il est pénalisé pour chaque région des données qu’il ne couvre pas.
• L’inférence variationnelle est la KL inverse. La borne inférieure de l’évidence minimise $D(Q \parallel P)$, ce qui explique qu’une loi a posteriori variationnelle soit notoirement trop confiante et s’accroche à un seul mode.
• La distillation, le RLHF et leurs proches choisissent aussi une direction, et ce choix se voit à ceci : l’élève hésite-t-il entre les options du maître, ou en choisit-il une ?

La règle pratique : si omettre une partie de la cible est l’erreur coûteuse, prenez la directe. Si affirmer des choses que la cible exclut est l’erreur coûteuse, prenez l’inverse. Et quand quelqu’un rapporte « la divergence KL » comme un seul nombre, la première question est dans quel sens elle a été prise.