Théorie de l’information
Le seul endroit du domaine où une borne est atteinte exactement : l’entropie est la longueur minimale d’un code, le meilleur code l’atteint, et le supplément payé pour la mauvaise distribution est la fonction de perte que vous entraînez déjà.
Connectez-vous pour passer les quiz, gagner des XP et débloquer les étapes en atteignant 90% de maîtrise.
L’entropie et le code le plus court
25 min · 100 XPPourquoi l’entropie est une limite plutôt qu’un résumé, un code qui l’atteint à la dernière décimale, la source où les bits entiers sont trop grossiers pour y parvenir, et l’astuce qui referme l’écart.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
Le coût de la mauvaise distribution
30 min · 120 XPL’entropie croisée comme facture du codage d’une distribution avec le code d’une autre, le supplément qui est exactement la divergence KL, pourquoi ce supplément est la perte que vous minimisez déjà, et ce que coûte une erreur confiante.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.
Canaux, dépendance et ce qui ne se récupère pas
30 min · 120 XPCe qu’un canal bruité transporte par usage, une dépendance que la corrélation annonce nulle et que l’information mutuelle chiffre à un bit entier, et le théorème selon lequel aucun traitement ne restaure ce qui a été détruit.
Ouvrir la leçon →Connectez-vous pour passer le quiz de 3 questions.