أيّ توزيع خاطئ تريد؟

الهدف $P$ خليطٌ متساوٍ من غاوسيّتين واحديّتين عند $-4$ و$+4$. متوسّطه $0$، وانحرافه المعياري $4.1231$، ولا يكاد يكون له احتمال قرب متوسّطه نفسه.

والنموذج $Q$ غاوسيّة واحدة. ولا يسعه تمثيل $P$، وهذا هو الوضع المعتاد: والسؤال ما معنى «أقرب ما يمكن».

ويعطي تباعد كولباك-لايبلر جوابين، لأنّه غير متناظر.

أ. مواءمتان

$$D(P \parallel Q) = \int p \log \frac{p}{q}, \qquad D(Q \parallel P) = \int q \log \frac{q}{p}.$$

صغّر كلًّا منهما على متوسّط $Q$ وانحرافها:

المواءمة الأولى تغطّي المنوالين. وانحرافها 4.1231 هو بالضبط انحراف $P$ نفسه، $\sqrt{1 + 16} = \sqrt{17}$: فتصغير $D(P \parallel Q)$ على الغاوسيّات يطابق متوسّط الهدف وتباينه، وهذا يضع المركز هنا عند النقطة التي لا تكاد $P$ تملك عندها كتلة. والثانية تحطّ على منوال واحد في حدود جزء من ألف: متوسّط 3.9996 مقابل منوال حقيقي عند 4، وانحراف 1.0008 مقابل واحد حقيقي. وهذان الفرقان الصغيران أثرُ ذيل المركّبة الأخرى الممتدّ عبر الفجوة امتدادًا خافتًا.

والجوابان صحيحان. وهما جوابان لسؤالين مختلفين.

ب. لماذا 0.6931

قيمة التباعد العكسي هي $\ln 2 = 0.6931$ حتى أربعة أرقام عشرية، وليس ذلك مصادفة. فحين تحطّ $Q$ على مركّبة واحدة يكون $P \approx \tfrac{1}{2}Q$ في كل المنطقة التي فيها لـ$Q$ كتلة، إذ لا تكاد تسهم المركّبة الأخرى هناك بشيء. ومن ثَمّ

$$D(Q \parallel P) \approx \int q \log \frac{q}{\tfrac{1}{2} q} = \log 2.$$

ويمكن جعل «لا تكاد» هذه مضبوطة. فمع $Q = N(4, 1)$ يُكتب الهدف $p = \tfrac{1}{2} q \,(1 + e^{-8x})$، ومن ثَمّ

$$D(Q \parallel P) = \ln 2 - \mathbb{E}_q\!\left[\ln\left(1 + e^{-8x}\right)\right],$$

والتصحيح، وهو ذيل المركّبة الأخرى الممتدّ عبر الفجوة، نحو $0.0001$. فالقيمة المُوائَمة $0.693053$ مقابل $\ln 2 = 0.693147$.

فعقوبة إهمال نصف الهدف هي، باستثناء هذا النزر، بتُّ المعلومة اللازم لقول أيّ نصف احتُفظ به. وهذه طريقة نظيفة لرؤية ما يحاسب عليه التباعد العكسي وما لا يحاسب عليه: يحاسب على وضع كتلة حيث لا كتلة للهدف، ولا يحاسب البتّة على عدم تغطية بقيّة مناطق الهدف.

ج. كل مواءمة كارثة بمقياس الأخرى

فالمواءمة العكسيّة تسجّل 15.2799 بالتباعد الأمامي، أي أسوأ بإحدى وعشرين مرّة من 0.7236 الخاصّة بالمواءمة الأماميّة. وليس هذا تفضيلًا صغيرًا بين معيارين شبه متكافئين؛ بل المعياران يختلفان على أيّ نموذج صالح للاستعمال.

ولعدم التناظر اتّجاهٌ يسهل حفظه:

• الأمامي، $D(P \parallel Q)$، يطلب المتوسّط. فالتكامل موزون بـ$p$، وحيثما كان لـ$P$ كتلة ولم يكن لـ$Q$ ينفجر النسبة $p/q$. فتُرغَم $Q$ على تغطية كل ما تغطّيه $P$، بثمن تغطية كثير ممّا لا تغطّيه.
• العكسي، $D(Q \parallel P)$، يطلب المنوال. فالتكامل موزون بـ$q$، فلا تكلّف المناطق التي لـ$P$ فيها كتلة ولـ$Q$ لا شيءَ. فـ$Q$ حرّة في إهمال معظم $P$، ما دامت تتجنّب وضع كتلة حيث لا كتلة لـ$P$.

د. أيّهما تستعمل أصلًا

كلاهما مستعمل يوميًّا، وغالبًا من دون التصريح بالاتّجاه.

• الأرجحيّة العظمى هي التباعد الأمامي. فتصغير الإنتروبيا المتقاطعة في مواجهة توزيع البيانات يصغّر $D(P \parallel Q)$ حتى ثابت. ولهذا تتمدّد مواءمة الأرجحيّة العظمى: فهي تُعاقَب على كل منطقة من البيانات تخفق في تغطيتها.
• الاستدلال التبايني هو التباعد العكسي. فحدّ الشاهد الأدنى يصغّر $D(Q \parallel P)$، ولهذا اشتهر التوزيع البعدي التبايني بفرط الثقة والتشبّث بمنوال واحد.
• التقطير والتعلّم المعزّز بالتغذية البشريّة وأقرباؤهما يختارون اتّجاهًا أيضًا، ويظهر الاختيار في: هل يتردّد التلميذ بين خيارات المعلّم أم يلتزم بواحد منها؟

والقاعدة العمليّة: إن كان إغفال جزء من الهدف هو الخطأ الغالي فخذ الأمامي. وإن كان ادّعاء ما ينفيه الهدف هو الخطأ الغالي فخذ العكسي. وحين يذكر أحدهم «تباعد كولباك-لايبلر» رقمًا واحدًا فالسؤال الأوّل: بأيّ اتّجاه أُخذ؟