L’utilité espérée et le principe MEU

Tous les parcours jusqu’ici se sont arrêtés à une croyance : une loi a posteriori, une estimation filtrée, une courbe ajustée. Les croyances ne disent pas quoi faire. Agir demande aussi des préférences, et la théorie de la décision est l’arithmétique qui combine les deux.

L’utilité et l’utilité espérée

Une fonction d’utilité $U(s)$ attribue un unique nombre à un état, exprimant à quel point il est désirable. Comme, dans un monde incertain, les actions ne déterminent pas leur résultat, on note $\mathrm{Result}(a)$ la variable aléatoire dont les valeurs sont les états résultants possibles. Étant donné des observations $\mathbf{e}$, l’utilité espérée d’une action est l’utilité moyenne de ses résultats, pondérée par leur probabilité :

$$EU(a \mid \mathbf{e}) = \sum_{s'} P\big(\mathrm{Result}(a) = s' \mid a, \mathbf{e}\big)\, U(s') .$$

Le principe de l’utilité espérée maximale constitue alors le critère tout entier :

$$\text{action} = \operatorname*{argmax}_{a} EU(a \mid \mathbf{e}) .$$

Notez ce qu’il n’est pas. Ce n’est pas « maximiser le meilleur cas », qui ignorerait complètement le risque. Ce n’est pas « atteindre un but », car un agent décisionnel dispose d’une mesure continue de la qualité des résultats plutôt que d’un test binaire de réussite. Et ce n’est pas « maximiser l’argent espéré », qui est une autre quantité et, comme le montre la section suivante, bien souvent la mauvaise.

Exemple traité : le jeu télévisé

Vous avez gagné. L’animateur propose $1,000,000 tout de suite, ou une pièce équilibrée : face, vous n’avez rien ; pile, vous recevez $2,500,000. La valeur monétaire espérée du pari vaut

$$\tfrac{1}{2}(\$0) + \tfrac{1}{2}(\$2{,}500{,}000) = \$1{,}250{,}000 ,$$

ce qui bat le million assuré. La plupart des gens refusent malgré tout. Ont-ils tort ?

Notons $S_n$ le fait de posséder une fortune totale de $n$ dollars, et soit $k$ dollars votre fortune actuelle. Les deux actions ont pour utilités espérées

$$EU(\text{Accept}) = \tfrac{1}{2}U(S_k) + \tfrac{1}{2}U(S_{k+2{,}500{,}000}), \qquad EU(\text{Decline}) = U(S_{k+1{,}000{,}000}) .$$

L’utilité n’est pas proportionnelle à l’argent : le premier million change votre vie, le second ne la change pas, à beaucoup près, autant. Supposons que vous notiez votre position actuelle $5$, le résultat intermédiaire $8$ et le meilleur $9$. Alors

$$EU(\text{Accept}) = \tfrac{1}{2}(5) + \tfrac{1}{2}(9) = 7 < 8 = EU(\text{Decline}) ,$$

si bien que refuser n’est pas seulement compréhensible : c’est ce que le principe prescrit.

Rien ici ne met en cause le fait de moyenner. La moyenne est calculée de la même façon les deux fois. Ce qui diffère, c’est l’échelle sur laquelle on moyenne, et l’utilité est celle qui encode la préférence.

L'argument porte sur la forme d'une courbe : voici donc la courbe. Les trois issues en sont les points, le curseur la courbe, et les probabilités ne bougent jamais. La ligne pointillée est la note que le sommet devrait atteindre pour qu'accepter soit juste : 11, avec les notes ci-dessus. Cela mérite deux lectures, car cela signifie que le second million et demi devrait apporter au moins autant que le premier million, c'est-à-dire l'exact contraire des rendements décroissants sur lesquels repose tout l'argument.

Le même pari, la réponse inverse

L’argument porte sur la forme de votre courbe, non sur la prudence en général. L’utilité d’un milliardaire est essentiellement linéaire sur quelques millions : en mesurant l’utilité en millions, on obtient

$$EU(\text{Accept}) = \tfrac{1}{2}(0) + \tfrac{1}{2}(2.5) = 1.25 > 1.0 = EU(\text{Decline}) ,$$

et le même principe dit de prendre le pari. Deux agents, des probabilités identiques, des choix rationnels opposés. Rien n’est incohérent : ils ont des fonctions d’utilité différentes, et la théorie n’a jamais prétendu qu’il n’y en avait qu’une.

Pourquoi ce n’est pas la fin de l’IA

Russell et Norvig observent que MEU « pourrait être vu comme définissant l’IA tout entière », puis soulignent aussitôt qu’il ne la résout pas. Les deux affirmations sont vraies, et l’écart mérite d’être décrit avec précision.

MEU dit exactement ce qu’est un choix rationnel. Ce qu’il ne dit pas, c’est comment s’en procurer les ingrédients.

• Les probabilités $P(\mathrm{Result}(a) \mid a, \mathbf{e})$ exigent un modèle causal du monde et une inférence menée en son sein - dont le parcours précédent a montré qu’elle est NP-difficile dans les réseaux bayésiens généraux.
• Les utilités $U(s')$ ne peuvent souvent pas se lire sur un état du tout. Savoir à quel point une position est bonne peut demander de chercher ou de planifier pour voir ce que l’on peut atteindre depuis elle.

Le principe formalise donc « faire ce qu’il faut » et laisse presque tout le travail. Cela reste précieux : il fournit un critère à l’aune duquel juger les approximations, ce qui est déjà plus qu’un tas d’heuristiques n’en offre.

MEU et les mesures de performance. Si un agent maximise une fonction d’utilité qui reflète correctement la mesure de performance selon laquelle son comportement est jugé, il obtient le meilleur score possible pour cette mesure, moyenné sur les environnements auxquels il peut être confronté. Toute la difficulté tient dans reflète correctement.

Avant le quiz

Sachez écrire $EU(a \mid \mathbf{e})$ et énoncer MEU, traiter l’exemple du jeu télévisé aussi bien en argent qu’en utilité, expliquer pourquoi un milliardaire tranche rationnellement dans l’autre sens, et nommer les deux ingrédients que MEU suppose sans les fournir.