تخطّي إلى المحتوى
Kudos AI
Read in English
أسس الاحتمالات

السمتان اللتان تبدوان ضجيجًا

متغيّرٌ يحدّد آخر بارتباط قدره 0.0000000000 بالضبط، وزوجُ سماتٍ كل معلومة متبادلة ثنائيّة بينهما وبين الهدف تساوي صفرًا بالضبط بينما يحدّدانه معًا تمامًا. والغربلة أحاديّة المتغيّر تطرح الاثنتين، والحالة الثانية هي المهمّة: فالسمات التي تحذفها تُحذف لأنّها مهمّة.

قراءة 2 دقيقةKudos AI

المتطلبات المسبقة: الإنتروبيا والمعلومات

عمودان من القيم مع انتشارٍ لا يُظهر ميلًا البتّة، وإلى جانبه جدولٌ مشترك خاناته ليست جداءَ هوامشه بيّنًا.

ليكن XX منتظمًا على {−2,−1,1,2}\{-2, -1, 1, 2\} وليكن Y=∣X∣Y = |X|. فمعرفة XX تعطيك YY يقينًا. والارتباط بينهما

ρ(X,Y)=0.0000000000,\rho(X, Y) = 0.0000000000,

بالضبط، بالتناظر. فالارتباط يقيس شيئًا واحدًا: كم من YY يتحرّك خطّيًّا مع XX. وهنا لا شيء منه يفعل، وكلّه محدَّد.

والمعلومة المتبادلة لا تنخدع:

H(X)=2,H(Y)=1,I(X;Y)=1,H(X) = 2, \qquad H(Y) = 1, \qquad I(X;Y) = 1,

بالبتّات. فمعرفة XX تزيل عدم اليقين في YY كلَّه. وهذا الشطر من الحكاية مألوف، والخلاصة المعتادة «استعمل المعلومة المتبادلة بدل الارتباط». أمّا التركيب الثاني فهو الذي ينبغي أن يقلقك، لأنّ المعلومة المتبادلة لا تنقذك منه أيضًا.

أ. ثلاثة متغيّرات، ولا زوج مُخبِر

ليكن AA وBB بتّين عادلين مستقلّين، وليكن C=A⊕BC = A \oplus B، أي الفصل الحصري. فكل معلومة متبادلة ثنائيّة:

I(A;B)=I(A;C)=I(B;C)=0.0000000000,I(A;B) = I(A;C) = I(B;C) = 0.0000000000,

بالبتّات. فأيّ اثنين من الثلاثة مستقلّان. انظر إلى AA وحده يبدُ CC رميةَ عملة. وانظر إلى BB وحده يبدُ CC رميةَ عملة. ومع ذلك

I(A,B ; C)=1,I(A, B \,;\, C) = 1,

أي بتّ واحد، وهو CC كلُّه. فالزوج يحدّد الهدف تمامًا، ولا يحمل أيٌّ من عضويه بتًّا واحدًا عنه.

افتح التبويب الثاني في الشكل، الثنائي الذي يختبئ معًا، لترى هذا الزوج: كل مدخل بمفرده يحمل 0 بتّ عن الهدف، والزوج معًا يحمل بتًّا واحدًا.

تفاعلي: ماذا تحمل القناة، وماذا لا تستعيده أبدًا

حساب مضبوط من التوزيع المشترك. ولا معاينة في أي موضع.

1 bit0.5
بتّات لكل استعمال
0.5310
بعد المعالجة
0.3199
ما ضاع بالمعالجة
0.2111
القلب المركّب
0.1800

قناة تقلب باحتمال 0.10 تصيب 90% من الوقت، ولا تحمل مع ذلك إلا 0.5310 بتّ لكل استعمال؛ فالإصابة والمعلومة ليستا عملةً واحدة. والآن أمرِر الخرج عبر قناة ثانية عند 0.10: يصير القلب المركّب 0.1800 ويبقى 0.3199 بتّ. لقد هبط، وسيهبط دائمًا: تلك متباينة معالجة البيانات.

ب. ماذا يفعل هذا باختيار السمات

الخطوة الأولى المعتادة على بيانات عريضة هي الغربلة أحاديّة المتغيّر: تُقيَّم كل سمة في مواجهة الهدف، وتُبقى أعلاها، ويُنمذَج عليها. والارتباط، والمعلومة المتبادلة، ومساحة تحت المنحنى لسمة واحدة، واختبار مربّع كاي - لا يهمّ أيّها، فكلّها تتّفق هنا.

فعلى بيانات الفصل الحصري تقيّم كلُّ طريقة غربلة AA وBB بصفر بالضبط وتطرح الاثنتين. وغربلةٌ تبقي أعلى 10% من ألف سمة ستطرحهما؛ وغربلةٌ تبقي أعلى 90% ستطرحهما. فهما ليستا قرب العتبة، بل في القاع.

وليس هذا الإخفاق زاويةً نادرة. فكل سمة تعمل من خلال تفاعل تبدو هكذا بدرجةٍ ما:

  • دواءٌ ينفع نمطًا جينيًّا ويضرّ آخر، بلا أثر رئيس
  • ضابطٌ لا يهمّ إلّا فوق حرارة معيّنة
  • الفرق بين قياسين لا يُخبر أيٌّ منهما وحده
  • أيّ هدف يعتمد على تكافؤ، أو نسبة، أو تطابق بين حقلين

ج. ما البديل

  • غربِل بنموذج يرى الأزواج. فشجرةٌ معزَّزة ضحلة على كل السمات، مقيَّمةً بأهمّيّة التبديل، تجد AA وBB فورًا، لأنّ شجرةً بعمق اثنين تمثّل الفصل الحصري، والشقّ الواحد لا يمثّله.
  • غربِل كتلًا لا آحادًا، حين يكون للسمات بنية معلومة: طرفا قياس، وما قبلُ وما بعدُ، وزوج الحقلين اللذين يُقارنان لاحقًا.
  • ابنِ التفاعل إن ظننته. ففرقٌ أو نسبةٌ أو جداءٌ يُحسب قبل الغربلة يحوّل أثرًا زوجيًّا إلى أثر أحادي، ويُفحص في سطر.
  • عامل «لم تكن أيّ سمة تنبّئيّة» فرضيّةً لا نتيجة. فجدول الفصل الحصري هو شكل تلك الخلاصة حين تكون خاطئة.

والقول العامّ جدير بالحفظ بالصيغة المضبوطة التي تعطيه إيّاها الأرقام. فاستقلال كل زوج لا يستلزم استقلال المجموعة: توزيع (A,B,C)(A, B, C) المشترك ليس جداءَ هوامشه مع أنّ كل هامش ثنائي يتحلّل. وكل إجراء غربلة يقيّم السمات واحدةً واحدة يفترض العكس.

المراجع والقراءات الإضافية

  • Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, Wiley (2nd edition), 2006· مكتبة مراجع Kudos AI

تُذكر الأعمال المحمية بحقوق النشر للمرجعية فقط ولا تُستضاف هنا؛ يرجى الرجوع إلى الناشر للوصول إليها.

قراءات ذات صلة

قراءة 5 دقيقةInformation Theory

الحدّ الذي يُبلَغ فعلاً

العشوائية المعلوماتية ليست ملخّصاً لتوزيع بل أرضية يبلغها أفضل ترميز إلى آخر منزلة عشرية، والزيادة المدفوعة ثمناً للتوزيع الخاطئ هي بالضبط الخسارة التي يصغّرها كلّ مصنّف أصلاً، والمعلومة المتبادلة تضع سقفاً صلباً على كلّ ما يلي المستشعر. ثلاث نتائج، كلّ واحدة أحدّ من المعتاد.

الرياضياتتعلّم الآلة
قراءة 3 دقيقةأسس الاحتمالات

أيّ توزيع خاطئ تريد؟

هدفٌ ثنائي المنوال، وغاوسيّة واحدة، واتّجاهان للتباعد نفسه. تصغير KL(P||Q) يمدّ الغاوسيّة على المنوالين بلا كتلة تُذكر حيث يقيم الهدف فعلًا؛ وتصغير KL(Q||P) يضعها على منوال واحد عند 0.6931 نات، وهي ln 2 حتى أربعة أرقام عشرية لا مصادفة. وكل مواءمة يحكم عليها المعيار الآخر بالكارثة: 2.0976 مقابل 15.2799.

تعلّم الآلةالرياضيات
قراءة 3 دقيقةStatistical Learning Theory

المبرهنة التي لا تقول شيئًا عن مسألتك

بالمتوسّط على الدوالّ الـ256 من ثلاث بتّات إلى واحدة، يسجّل متعلّمُ أقرب جار ومتعلّمٌ بُني ليخطئ عمدًا 0.500000 بالضبط خارج بيانات التدريب. تلك هي مبرهنة انعدام الغداء المجّاني، وهي صحيحة بالضبط، وما إن يُقصَر المتوسّط على الدوالّ الستّ التي تعتمد على بتّ واحد حتى يفترق الاثنان إلى 0.333333 و0.666667.

تعلّم الآلةالرياضيات
← العودة إلى كل المقالات