فهم المعلومة المتبادلة
تسأل المعلومة المتبادلة كم ينخفض الشكّ في متغيّر حين ترى آخر. ولأنّها مبنيّة على التوزيع المشترك لا على خطّ ملائم، فهي تجيب عن ذلك لأيّ شكل من الاعتماد، وتساوي صفراً إذا وفقط إذا كان المتغيّران مستقلّين. وهذا الشرط الأخير ما لا يقدّمه الارتباط: فارتباط صفريّ ينفي علاقة خطّية ولا ينفي غيرها.
وأوضح برهان هو «أو» الحصريّة. ولّد بتّتين مستقلّتين واجعل هدفهما «أو» الحصريّة بينهما. لكلّ مدخل وحده ارتباط بالهدف يقارب +0.002 ومعلومة متبادلة 0.0000 بتّة، وكلا القياسين صحيح: فلا مدخل بمفرده يقول شيئاً. ومأخوذين زوجاً تكون معلومتهما المتبادلة 1.0000 بتّة، لأنّ الزوج يحدّد الهدف بالضبط. فالمعلومة لا توجد إلّا في التركيب، وأيّ إجراء فرز يرتّب المتغيّرات فرادى يطرحهما معاً.
ومطبَّقة على قناة، تقول الكمّية نفسها ما يمكن حمله. فقناة ثنائية تقلب كلّ بتّة باحتمال 0.1 سعتها 1 - H(0.1) = 0.5310 بتّة لكلّ استعمال، وتقيس محاكاة لها 0.5329. وعند احتمال قلب 0.5 تكون السعة صفراً بالضبط، لأنّ توزيع المخرَج يصير واحداً مهما أُرسل. وعند 0.9 تعود السعة إلى 0.5310: فالكذب المطّرد بقدر الصدق المطّرد إفادةً.
ومتباينة معالجة البيانات تغلق الباب. فأيّ شيء تحسبه من مخرَج القناة دالّة لذلك المخرَج، فلا يمكن أن يعرف عن المدخل أكثر ممّا عرفه المخرَج. وفي المحاكاة نفسها، يخفض مسحُ ثلاث بتّات مستقبَلة من كلّ عشر المعلومةَ المقيسة من 0.5329 إلى 0.2763 بتّة. فلا فاكّ ترميز ولا إعادة بناء ولا عمق شبكة يستعيد ما أتلفته القناة، وهذا هو السقف الأمين لما يستطيع أيّ نموذج انتزاعه من مجموعة متغيّرات معطاة.
كيفية الحساب
I(X;Y) = Σ p(x,y) log2( p(x,y) / (p(x) p(y)) ) = H(X) − H(X|Y); capacity of a BSC = 1 − H(flip)
حيث
- I(X;Y) ≥ 0
- صفر بالضبط حين يكون X وY مستقلّين
- H(X|Y)
- الشكّ الباقي في X بعد رؤية Y
- H(flip)
- العشوائية الثنائية لمعدّل خطأ القناة
- X → Y → Z
- سلسلة لا يمكن أن يتجاوز فيها I(X;Z) مقدار I(X;Y)
مثال على المعلومة المتبادلة
بتّتان مستقلّتان و«أو» الحصريّة بينهما، على 200000 سحبة: لكلّ مدخل وحده ارتباط +0.0016 ومعلومة متبادلة 0.0000 بتّة مع الهدف؛ وللزوج 1.0000 بتّة.
قناة ثنائية بنسبة خطأ 10٪: السعة 1 − H(0.1) = 0.5310 بتّة لكلّ استعمال، مقيسةً عند 0.5329. وعند نسبة خطأ 50٪ تكون السعة 0.0000.
ومسحُ ثلاث بتّات مستقبَلة من كلّ عشر في المحاكاة نفسها يخفض المعلومة المقيسة من 0.5329 إلى 0.2763 بتّة، ولا معالجة ترفعها.
الأسئلة الشائعة
أأستعمل المعلومة المتبادلة بدل الارتباط في اختيار المتغيّرات؟
إنّها تلتقط أكثر، لكنّ تقديرها أصعب: فعلى متغيّرات متّصلة تعتمد على تقسيم إلى فئات أو على تقدير كثافة، وهي متحيّزة صعوداً في العيّنات الصغيرة. استعملها وأنت تعلم أنّ قيمة مرتفعة على نقاط قليلة قد تكون أثراً للمقدِّر لا نتيجةً.
أتعني المعلومة المتبادلة العالية أنّ متغيّراً يسبّب الآخر؟
لا. إنّها متناظرة في وسيطيها ولا تقول شيئاً عن الاتّجاه، فالسبب المشترك يعطي القراءة نفسها التي يعطيها أثر مباشر. والأسئلة السببية تحتاج افتراضات عن كيفية نشأة البيانات.
أتستطيع شبكة عميقة بما يكفي استعادة معلومة فقدها المستشعر؟
لا، ومتباينة معالجة البيانات هي البرهان. فكلّ طبقة دالّة لسابقتها، والسقف مضبوط حيث أُتلفت المعلومة. وتحسين المتغيّرات وحده هو ما يرفعه.
الخلاصة
المعلومة المتبادلة تقيس الاعتماد بأيّ شكل كان، بالبتّات، وتضع سقفاً صلباً على ما يمكن انتزاعه لاحقاً. إنّها الكمّية التي تُطلَب حين لا يقول الارتباط شيئاً وأنت تشكّ في وجود شيء، والمبرهنة المرافقة لها تخبرك متى تكفّ عن البحث.