3 مقالات.
مكافأة البقاء في عالَم الشبكة تُكتب مرّةً ولا تُناقَش، والسياسة المثلى دالّة درجيّة فيها: ثمانية عتبات بين -3 و0، كلٌّ منها يقلب مربّعًا واحدًا بالضبط. والقيمة المألوفة -0.04 تبعد 0.0048 عن العتبة التي تقرّر هل يسلك الوكيل الطريق القصير بمحاذاة الحفرة، وفوق -0.0221، حين تكاد الخطوات تكون مجانيّة، يصير الفعل الأمثل في أحد الأركان أن يدفع الجدار عمدًا.
ما الذي يتغير حين يتلقى العميل إدراكات مشوَّشة بدل حالته: حالة الاعتقاد التي تحلّ محلها وتحديث الترشيح الذي يصونها، والإحالة المضبوطة لـ POMDP إلى عملية ماركوفية على الاعتقادات، ودالة القيمة الخطية بالقطع المحدّبة التي تجعل تلك الإحالة قابلة للحساب من حيث المبدأ، والأسباب المقيسة لتعذّرها عمليًا - مع النقطة الثابتة للاعتقاد ومتجهات ألفا ودالة القيمة محسوبةً لا مُدّعاة.
كيف تخطّط حين لا تفعل الأفعال ما تقصده بموثوقية: الحالات، ونموذج الانتقال، والمكافآت والخصم، ومعادلة بلمان، وتكرار القيمة محلولاً عددياً حتى نقطته الثابتة.