Mise à jour du prior au posterior avec familles conjuguées, accompagnée d’un explorateur d’entropie et de divergence KL qui mesure ce que chaque observation a réellement appris.
Un traitement interactif de la révision des croyances. Le volet inférence implémente les mises à jour conjuguées - bêta-binomiale, gamma-Poisson, normale-normale - et montre le posterior se déplacer à mesure que les données arrivent, y compris le cas qui surprend le plus : avec un taux de base assez faible, un résultat positif issu d’un test précis laisse malgré tout l’hypothèse improbable. La mise à jour séquentielle est rendue explicite, le posterior d’hier servant de prior aujourd’hui, et le résultat est montré identique à une mise à jour groupée unique. Le volet information quantifie le même processus : entropie du prior et du posterior, et divergence KL entre les deux comme mesure directe du déplacement de croyance produit par une observation. Cela relie les articles de probabilité à celui de théorie de l’information, où ces mêmes quantités réapparaissent comme fonctions de perte servant à entraîner les modèles. L’implémentation est en cours et aucun dépôt source n’a encore été publié.
Build probability from the ground up: possible worlds, the sample space, the two basic axioms, and the addition and multiplication rules, each derived rather than asserted, with worked numeric examples.
Derive Bayes' theorem from the definition of conditional probability, then work the base-rate example that fools almost everyone, twice: once with the formula and once by pure counting.
Measuring uncertainty in bits: Shannon entropy and why the logarithm is base 2, information gain worked on a split, and how cross-entropy and KL divergence relate to entropy and to the loss functions used to train classifiers.