نظرية المعلومات

الإنتروبيا، والمعلومة المتبادلة، ورؤية التعلّم من زاوية الترميز. مقياسُ ما تخبرك به رسالة أو سمة أو نموذج حقّاً.

7 عناصر

الموسوعة (3)

الإنتروبيا

مقياس لللايقين في متغيّر عشوائي، يساوي متوسط عدد البتّات اللازمة لترميز نتيجته.

الإنتروبيا المتقاطعة

مقياس للفارق بين توزيعين احتماليين، يُستخدم دالةَ خسارة قياسية في التصنيف.

الحيرة

أُسّ الإنتروبيا المتقاطعة المتوسّطة لنموذج، تُقرأ عدد الخيارات المتساوية الاحتمال التي يختار بينها فعليًّا عند كلّ خطوة.

المقالات (1)

قياس اللايقين بالبتّات: إنتروبيا شانون ولماذا اللوغاريتم بالأساس 2، ومكسب المعلومات محلولاً على قسمة، وكيف ترتبط الإنتروبيا المتقاطعة وتباعد كولباك-لايبلر بالإنتروبيا وبدوال الخسارة التي تدرّب المصنِّفات.

الأدوات (1)

حاسبة الإنتروبيا والمعلومات

حرّر توزيعين جنبًا إلى جنب واقرأ الإنتروبيا والإنتروبيا التقاطعية وتباعد KL بالبِتّات، مع إبقاء المتطابقة H(p, q) = H(p) + KL(p ‖ q) ظاهرة على الشاشة.

البحث (1)

A Mathematical Theory of Communication

يعرّف المعلومات تعريفاً كمّياً، ويقدّم الإنتروبيا مقياساً للايقين المصدر، ويبرهن حدوداً على الضغط بلا فقد وعلى الإرسال الموثوق عبر قناة مشوّشة.

المشاريع (1)

Bayesian Inference Playground

تحديث المُقدَّم إلى اللاحق بعائلات مترافقة، مع مستكشف للإنتروبيا وتباعد كولباك-لايبلر يقيس ما أخبرَتْه كل ملاحظة فعليًا.