فهم معادلة بلمان
في عمليّة قرار ماركوفيّة يختار العميل أفعالًا نتائجها غير مؤكّدة، ويريد السياسة ذات أكبر مكافأة مخصومة متوقّعة. وتنصّ معادلة بلمان على العلاقة التي يجب أن تحقّقها المنافع المثلى: منفعة الحالة هي مكافأتها الفوريّة زائد المنفعة المتوقّعة المخصومة لأفضل فعل منها.
وكلّ جزء من تلك الجملة يحمل ثقلًا. فالأعظم يمسح الأفعال، وهي ما يختاره العميل. والمجموع داخله يمسح الحالات الخَلَف، وهي ما لا يختاره، فيأتي المستقبل متوسّطًا موزونًا بنموذج الانتقال. ولو بُدِّل الاثنان لوصف ذلك عميلًا يختار حظّه بنفسه.
وهو شرط لا وصفة. فمع n من الحالات يعطي n معادلة بـn مجهولًا، لكنّ الأعظم يجعلها غير خطّيّة فلا تُحلّ مباشرة. والتكرار على القيم يطبّق الطرف الأيمن تحديثًا ويتقارب لأنّ ذلك التحديث تقلّصيّ؛ والتكرار على السياسات يناوب بين تقييم سياسة مثبّتة، وهو خطّيّ، وتحسينها.
ويؤدّي عامل الخصم وظيفتين. فهو يُبقي متتالية لا نهائيّة من المكافآت المحدودة منتهيةً وبالتالي قابلة للمقارنة، وهو يقول إنّ الأقرب أفضل. وحجمه يضبط الأفق الفعّال: فهو صغيرًا يجعل العميل قصير النظر لا يرى إلّا المكافأة الفوريّة، وكلّما اقترب من واحد قبِل مسافة طويلة بلا مكافأة مقابل عائد بعيد.
كيفية الحساب
U(s) = R(s) + \gamma \max_{a \in A(s)} \sum_{s'} P(s' \mid s, a)\, U(s')
حيث
- U(s)
- منفعة الحالة s تحت سياسة مثلى
- R(s)
- المكافأة الفوريّة لكونك في s
- \gamma
- عامل الخصم، بين 0 و1
- P(s' \mid s, a)
- احتمال أن ينتهي الفعل a من s إلى s'
مثال على معادلة بلمان
خذ خصمًا قدره 0.9. فمكافأة على بُعد خطوة تساوي 0.9 من قيمتها الاسميّة، وعلى بُعد خمس خطوات 0.5905، وعلى بُعد عشر 0.3487، وعلى بُعد خمسين 0.0052. وأوّل خطوة تصير عندها المكافأة أقلّ من واحد في المئة من قيمتها الاسميّة هي الخطوة 44، وهذا تعريف صالح للأفق الذي يقتضيه هذا الخصم.
وذلك العدد يتحرّك بشدّة مع الخصم، ولهذا كان الخصم قرارَ نمذجةٍ لا مقبضَ ضبط. فعند 0.99 تقع عتبة الواحد في المئة نفسها بعد الخطوة 450؛ وعند 0.5 تأتي عند الخطوة 7.
والبنية تهمّ بقدر الحساب. ففي عالم شبكيّ بكلفة معيشة صغيرة، لا يمكن لفعل يُبقي العميل مكانه أن يغلب فعلًا يقرّبه من حالة أفضل، مهما قصُر نظر الخصم: فالبقاء يساوي R + gamma U(s) والحركة تساوي R + gamma U(s')، فتُختزل المقارنة إلى U(s') مقابل U(s) ويُختصر الخصم تمامًا.
الأسئلة الشائعة
لماذا لا تُحلّ المعادلات ببساطة؟
بسبب الأعظم. فلسياسة مثبّتة يختفي الأعظم ويبقى نظام خطّيّ يُحلّ مباشرة، وهذا بعينه ما تفعله خطوة التقييم في التكرار على السياسات.
ماذا يحدث عند خصم يساوي واحدًا بالضبط؟
قد لا يتقارب المجموع، ولا تُقارَن سياستان مكافأتهما الكلّيّة لا نهائيّة. ولا يصلح ذلك إلّا إذا ضُمن بلوغ كلّ تشغيلة حالةً نهائيّة، أو إذا استُعملت المكافأة المتوسّطة لكلّ خطوة بدل المكافأة الكلّيّة.
الخلاصة
تقول معادلة بلمان ما يجب أن تحقّقه المنافع المثلى: مكافأةٌ الآن، زائد متوسّط مخصوم على النتائج التي لا تتحكّم فيها، لأفضل فعل تتحكّم فيه. وهي شرط لا طريقة، والأعظم هو ما يجعلها مثيرة وما يمنعها أن تكون جبرًا خطّيًّا.