تحديث المُقدَّم إلى اللاحق بعائلات مترافقة، مع مستكشف للإنتروبيا وتباعد كولباك-لايبلر يقيس ما أخبرَتْه كل ملاحظة فعليًا.
معالجة تفاعلية لتحديث الاعتقاد. ينفّذ شقّ الاستدلال التحديثات المترافقة - بيتا-ذات الحدّين، وغاما-بواسون، والطبيعية-الطبيعية - ويُظهر اللاحق يتحرّك مع ورود الأدلّة، بما في ذلك الحالة التي تُفاجئ أغلب القرّاء: عند معدّل أساس منخفض بما يكفي، تبقى الفرضية غير مُرجَّحة رغم نتيجة إيجابية من اختبار دقيق. ويُصرَّح بالتحديث المتتابع، إذ يُستخدم لاحق الأمس مُقدَّمًا لليوم، ويُبيَّن أن النتيجة مطابقة تمامًا لتحديث دُفعي واحد. أما شقّ المعلومات فيُكمّم العملية نفسها: إنتروبيا المُقدَّم واللاحق، وتباعد كولباك-لايبلر بينهما كمقياس مباشر لمقدار ما حرّكته ملاحظة بعينها من اعتقاد. وهذا يصل مقالات الاحتمال بمقالة نظرية المعلومات، حيث تعود هذه الكميات نفسها بوصفها دوال الخسارة المستخدمة في تدريب النماذج. التنفيذ جارٍ ولم يُنشر بعد أي مستودع للمصدر.
Build probability from the ground up: possible worlds, the sample space, the two basic axioms, and the addition and multiplication rules, each derived rather than asserted, with worked numeric examples.
Derive Bayes' theorem from the definition of conditional probability, then work the base-rate example that fools almost everyone, twice: once with the formula and once by pure counting.
Measuring uncertainty in bits: Shannon entropy and why the logarithm is base 2, information gain worked on a split, and how cross-entropy and KL divergence relate to entropy and to the loss functions used to train classifiers.