Théorie de l'information

Entropie, information mutuelle, et la vision de l’apprentissage par le codage. La mesure de ce qu’un message, une variable ou un modèle vous apprend réellement.

7 éléments

Encyclopédie (3)

Entropie

Une mesure de l’incertitude d’une variable aléatoire, égale au nombre moyen de bits nécessaires pour encoder son issue.

Entropie croisée

Une mesure de la différence entre deux distributions de probabilité, utilisée comme fonction de perte standard en classification.

Perplexité

L’exponentielle de l’entropie croisée moyenne d’un modèle, lue comme le nombre d’options équiprobables entre lesquelles il choisit effectivement à chaque pas.

Articles (1)

Mesurer l’incertitude en bits : l’entropie de Shannon et pourquoi le logarithme est en base 2, le gain d’information déroulé sur une division, et comment l’entropie croisée et la divergence de Kullback-Leibler se rattachent à l’entropie et aux fonctions de perte qui entraînent les classifieurs.

Outils (1)

Calculateur d’entropie et d’information

Modifiez deux distributions côte à côte et lisez l’entropie, l’entropie croisée et la divergence KL en bits, avec l’identité H(p, q) = H(p) + KL(p ‖ q) affichée en permanence.

Recherche (1)

A Mathematical Theory of Communication

Définit quantitativement l’information, introduit l’entropie comme mesure de l’incertitude d’une source, et démontre des limites à la compression sans perte et à la transmission fiable sur un canal bruité.

Projets (1)

Bayesian Inference Playground

Mise à jour du prior au posterior avec familles conjuguées, accompagnée d’un explorateur d’entropie et de divergence KL qui mesure ce que chaque observation a réellement appris.

Thèmes liés

Mathématiques Statistique Probabilité Optimisation Programmation Intelligence artificielle Apprentissage automatique Apprentissage profond Apprentissage par renforcement Traitement du langage naturel Vision par ordinateur IA générative Recherche et planification Représentation des connaissances Théorie des jeux