حالات الاعتقاد والتحديث

كل مسألة قرار حتى الآن أتاحت للعميل أن يرى موضعه. فعمليات القرار الماركوفية أعطت سياسة ‎$\pi(s)$‎ - راجِع الحالة، واقرأ الفعل. وهذا الدرس يزيل المراجعة: فالحالة خفية، ولا يصل إلا إدراكات مشوَّشة عنها.

إضافة واحدة، فيتغير كل شيء

للعملية الماركوفية جزئية الرصد كل ما للعملية الماركوفية - نموذج انتقال ‎$P(s' \mid s, a)$‎ وأفعال ودالة مكافأة - مضافًا إليه شيء واحد: نموذج استشعار ‎$P(e \mid s)$‎ يعطي احتمال إدراك الشاهد $e$ في الحالة $s$.

تبدو إضافةً صغيرة وهي تكسر الشيء المركزي. فلم يعد بوسع السياسة أن تكون دالةً في الحالة، لأن العميل لا يستطيع تقويمها. والأسوأ أن الفعل الأمثل لم يعد يتوقف على موضع العميل وحده: بل على مقدار ما يعرفه. فعميلان في الحالة نفسها، أحدهما متيقن والآخر حائر، ينبغي أن يفعلا في الغالب أمرين مختلفين.

الشيء الذي يحلّ محلّ الحالة

والعلاج أن يُستدلّ على التوزيع على الحالات المتسق مع كل ما فُعل وأُدرك حتى الآن. وذلك التوزيع هو حالة الاعتقاد، ويُكتب $b$، حيث ‎$b(s)$‎ احتمال الكون في الحالة $s$.

والحركة التي تُنجح هذا أبسط من أن تُلاحَظ: حالة الاعتقاد مرصودة للعميل دائمًا. فهي ملخّص لتاريخه هو لا للعالم. ومن ثمّ تكون السياسة ‎$\pi(b)$‎ شيئًا يستطيع العميل تنفيذه فعلًا، بخلاف ‎$\pi(s)$‎.

وهي أيضًا إحصاءة كافية للتاريخ. فلأن نموذجَي الانتقال والاستشعار ماركوفيان - إذ تتوقف الحالة التالية على الحالة والفعل الراهنين فقط، والإدراك على الحالة الراهنة فقط - يكون كل ما لدى الماضي ليقوله عن المستقبل موجودًا سلفًا في التوزيع الراهن. فيستطيع العميل إذن أن يطرح تاريخه ولا يحمل إلا $b$، وهو ما يجعل التخطيط ممكنًا أصلًا.

صيانتها

بمعلومية اعتقاد وفعل $a$ والإدراك $e$ الذي يليه، يكون الاعتقاد الجديد

$$b'(s') = \alpha \; P(e \mid s') \sum_{s} P(s' \mid s, a) \, b(s) .$$

ثلاث خطوات. التنبؤ: ادفع الاعتقاد عبر نموذج الانتقال للفعل المتخذ. الوزن: اضرب كل خلف مرشَّح في مدى ترجيح الإدراك المرصود هناك. التسوية: يجعل $\alpha$ المجموع واحدًا.

وهذه بالضبط الخطوة الأمامية لترشيح نماذج ماركوف الخفية من مسار النماذج الزمنية. والإضافة الوحيدة أن نموذج الانتقال صار يتوقف على اختيار العميل - أي أن العميل يؤثر لا في وجهته فحسب بل فيما سيتعلّمه.

عالم صغير بما يكفي لرؤيته

حالتان، 0 و1، مع ‎$R(0) = 0$‎ و‎$R(1) = 1$‎. وفعلان: الاستمرار يبقي الحالة باحتمال 0.9، والتبديل يغيّرها باحتمال 0.9. ويعلن المستشعر الحالة الصحيحة باحتمال 0.6 - بالكاد أفضل من قطعة نقد.

ولأن الحالتين اثنتان، يكون الاعتقاد عددًا واحدًا: ‎$b(1)$‎، و‎$b(0)$‎ متمّمه. وفضاء الاعتقادات كله هو المجال ‎$[0, 1]$‎.

ابدأ من ‎$b(1) = 1/2$‎ وافعل. والنتائج تستحق التأمل:

لم يُحدث الفعل فرقًا. فمن اعتقاد منتظم يرسل الاستمرارُ تنبؤًا منتظمًا إلى تنبؤ منتظم، وكذلك التبديل - إذ يستمر أحدهما بـ0.9 ويبدّل الآخر بـ0.9، وهما من قسمة ‎50/50‎ شيء واحد. فيقوم الإدراك بالعمل كله، و0.6 مقابل 0.4 يعطي ‎3/5‎ بالضبط.

وتستحق هذه المصادفة التسمية لأنها تفصل الوظيفتين اللتين يؤديهما الفعل في POMDP: تغيير العالم، وتغيير ما تعرفه عنه. وهنا تتلاشى الأولى ولا تظهر إلا الثانية. وفي العموم تهمّ الوظيفتان معًا، وقد يستحق الفعل أن يُتخذ لمجرد ما يكشفه.

فقدُ الثقة أيسر من كسبها

ادفع اعتقادًا واثقًا في وجه قراءة مناقضة واحدة:

فاعتقاد قدره 0.99 يهبط إلى 0.846 في خطوة واحدة، لكن نصيب المستشعر من ذلك أقلّ مما يبدو. فتسريب «ابقَ» وحده ينزل بـ0.99 إلى تنبؤ قدره 0.892، أي إن عشرًا من النقاط الأربع عشرة تذهب قبل وصول الإدراك؛ ثم يحذف الإدراك 0 بعدها 0.046 أخرى، وحتى الإدراك 1 المؤكِّد كان سيترك الاعتقاد عند 0.925. والآن ادفع في الاتجاه الآخر، بالاستمرار ورؤية الإدراك 1 مرارًا من ‎$b(1) = 1/2$‎:

$$0.600, \; 0.674, \; 0.727, \; 0.762, \; 0.786, \; 0.801, \; 0.811, \; 0.817, \ldots$$

ثماني تأكيدات متتالية لا تبلغ إلا 0.817218. فالتسلق يتباطأ، وهو لا يتوقف عند 1.

في ما يلي فضاء الاعتقاد كلّه، أي الفترة، والاعتقاد عليه نقطةٌ واحدة. اضغط «ابقَ، ورأيتُ 1» وواصِل الضغط: تتقلّص الخطوات أمام عينيك، وينحني الصعود نحو الخط المتقطّع ثم يقف عنده. ثم اضغط «ابقَ، ورأيتُ 0» مرة واحدة من قرب السقف: قراءة واحدة من مستشعر يخطئ 40٪ من الوقت تكلّف أكثر مما كسبه تأكيدان. وهذه اللاتماثلية ليست انحيازًا في المستشعر: فكل إدراك يضرب الأرجحية أو يقسمها على ‎$0.6 / 0.4 = 1.5$‎ نفسها، أيًّا كان الاعتقاد. بل هي تسريب «ابقَ»، الذي يكون قرب السقف قد أبطل أصلًا معظم ما يكسبه تأكيدٌ واحد.

السقف

وتكرار ذلك التحديث يتقارب إلى ‎$0.827934423$‎، وحلّ معادلة النقطة الثابتة رمزيًا يعطي الصيغة المغلقة

$$b^{*} = \frac{3 + \sqrt{105}}{16} = 0.827934 .$$

وقوّتان تتوازنان هناك. فكل إدراك يجذب الاعتقاد إلى الخارج، لأن المستشعر يحمل معلومة. وكل انتقال يدفعه عائدًا نحو المنتصف، لأن الاستمرار يسرّب 0.1 من الاحتمال إلى الحالة الأخرى في كل خطوة. والنقطة الثابتة حيث يتلاشى الأثران تمامًا، وبعدها لا تشتري الشواهد الإضافية شيئًا لأنها تصل بأبطأ مما ينسى به العالم.

والنتيجة هي الموضوع كله. اليقين غير قابل للبلوغ، فالعميل الذي ينتظر معرفة موضعه ينتظر إلى الأبد. وعليه أن يخطّط وهو ما يزال غير متيقن - والاعتقاد لا الحالة هو ما يخطّط عليه.

الاختصار المغري، ولماذا يخفق

ردّ فعل طبيعي على هذا كله أن تتخطاه: تتبّع الاعتقاد، وخذ أرجح الحالات، وسلّمها إلى سياسة ماركوفية عادية. وهو رخيص وسهل التنفيذ وخاطئ على نحو محدّد يستحق الفهم.

فالعميل الذي يلتزم بأفضل تخميناته يعامل عدم يقينه ضجيجًا يُقرَّب ويُطرَح. ولذلك لن يقدّر فعلًا قط لما قد يكشفه. اعرض عليه حركة استشعار رخيصة - لا تنتج مكافأة لكنها تزيل التباسًا - فيرى فعلًا بلا فائدة، لأن الحالة التي يظن نفسه فيها لا تتغير. فهو إذن لا ينظر قبل أن يقفز، وسينفّذ بثقة خطةً صائبة في الحالة التي خمّنها وكارثية في التي أهملها عند 45%.

أما صياغة الاعتقاد فلا تعاني هذه الثغرة، لأن الاعتقاد هو الحالة. فالفعل الذي يشحذ التوزيع ينقل العميل إلى حالة اعتقاد أفضل، وتقدّر الآلية تلك النقلة كأي نقلة أخرى. وقيمة المعلومات، التي عالجها مسار نظرية القرار حسابًا قائمًا بذاته، تصل هنا مجانًا نتيجةً لاستعمال متغير الحالة الصحيح.

قبل الاختبار

الـ POMDP عمليةٌ ماركوفية مضافًا إليها نموذج استشعار، وتلك الإضافة وحدها تعني أن السياسة لا يمكن أن تُفهرَس بالحالة. وتحلّ حالة الاعتقاد محلّها: توزيعٌ على الحالات، مرصود للعميل دائمًا، وإحصاءة كافية للتاريخ كله. وتُصان بالتنبؤ ثم الوزن ثم التسوية، وهي عَودية ترشيح نماذج ماركوف الخفية نفسها مع اختيار العميل للفعل. ومع مستشعر مشوَّش تتشبّع - هنا عند ‎$(3 + \sqrt{105})/16$‎ بالضبط - فيكون التخطيط تحت عدم اليقين لا حلًّا مؤقتًا بل الحال الدائمة.