Naïf de Bayes

Pour classer par probabilité, on voudrait P(classe | variables), qui par le théorème de Bayes est proportionnel à P(variables | classe) · P(classe). La difficulté est le premier facteur : modéliser la loi jointe de toutes les variables simultanément demande une quantité de données qui croît exponentiellement avec leur nombre.

Le naïf de Bayes tranche le nœud en supposant les variables conditionnellement indépendantes étant donné la classe. Sous cette hypothèse, la vraisemblance jointe se factorise en un produit de termes unidimensionnels, chacun estimable par de simples comptages ou un ajustement de densité simple. Un modèle à mille variables n’a besoin que de mille petites estimations plutôt que d’une estimation jointe intraitable. Russell et Norvig décrivent exactement cette structure, une cause unique influençant de nombreux effets conditionnellement indépendants étant donné la cause, et notent que le modèle est dit « naïf » précisément parce qu’il est couramment appliqué là où cette indépendance ne tient pas vraiment.

L’hypothèse est presque toujours violée : en classification de textes, la présence d’un mot change manifestement les chances d’apparition des mots apparentés. Ce qui sauve la méthode, c’est que la classification ne dépend que de la classe au score le plus élevé, non de l’exactitude des scores. L’hypothèse d’indépendance déforme les magnitudes, souvent gravement, tout en laissant fréquemment l’ordre intact.

La conséquence pratique est un verdict partagé. Le naïf de Bayes est une base de référence solide et extrêmement rapide pour les problèmes en grande dimension comme le texte, et il reste utilisable quand les données sont rares. Mais ses probabilités de sortie ne doivent pas être lues comme des confiances calibrées : elles sont habituellement poussées vers 0 et 1, parce que multiplier de nombreux termes corrélés comme s’ils étaient indépendants surestime les preuves accumulées.

Pour un filtre anti-spam, chaque variable est la présence d’un mot donné. Ajuster le modèle est un exercice de comptage : pour chaque classe, enregistrer la fréquence de chaque mot dans les messages de cette classe, et la fréquence de la classe elle-même.

Pour classer un nouveau message, multipliez l’a priori de la classe par les vraisemblances des mots qu’il contient, une fois pour le spam et une fois pour le non-spam, et retenez la plus grande. En pratique le calcul se fait en sommant des logarithmes plutôt qu’en multipliant des probabilités, car un produit de milliers de petits nombres tombe à zéro par sous-dépassement en virgule flottante.

Un mot jamais vu dans les données d’entraînement d’une classe donnerait à cette classe une vraisemblance exactement nulle, anéantissant tout le produit quelles que soient les autres preuves. Le correctif standard est le lissage additif (de Laplace) : ajouter une petite constante à chaque comptage pour qu’aucune probabilité ne soit exactement nulle.