الوسيط الذي لا يختاره أحد

عالَم الشبكة المعياري أربعة مربّعات في ثلاثة، بجدار في (2,2)، وهدف قيمته +1 في (4,3)، وحفرة قيمتها -1 في (4,2). وكل فعل ينقل الوكيل كما أُريد باحتمال 0.8، وجانبًا باحتمال 0.1 إلى كل جهة؛ وارتطامه بجدار يبقيه مكانه. ومعامل الخصم يساوي واحدًا.

وفي مكان ما من المواصفة، في جملة لا يتوقّف عندها أحد عادةً، توجد مكافأة البقاء: كل مربّع غير نهائي يدفع $R$ لكل خطوة، وعادةً $-0.04$. وُضعت لتجعل التلكّؤ مكلفًا. ولا تُقدَّم بوصفها اختيارًا في النمذجة، لأنّها لا تبدو كذلك.

وهي أثقل أرقام المسألة أثرًا.

أ. ثماني عتبات

حُلّ العالَم لكل $R$ بين $-3$ و$0$، فلا تنزلق السياسة المثلى. بل تثبت، ثم تتغيّر في مربّع واحد، ثم تثبت من جديد. وبتنصيف كل تغيّر حتى ستّ منازل عشريّة:

تسع سياسات مثلى متمايزة على ذلك المجال، يفصل بينها ثمانية أرقام، وكل رقم أعلاه حُسب مرّتين: بالتكرار على السياسات، حيث كل تقييم حلٌّ خطّي مضبوط، وبالتكرار على القيم حتى تسامح قدره $10^{-14}$. وتتّفق الطريقتان على كل سياسة وعلى كل منفعة في حدود $9 \times 10^{-14}$.

ب. القيمة المألوفة على بعد 0.0048 من حافّة

انظر إلى السطر الغليظ. عند $R = -0.04$ يتّجه الوكيل الواقف في (3,1)، أي قُطريًّا أسفل الحفرة وإلى يسارها، إلى اليسار: الطريق الطويل، على امتداد الأسفل ثم صعودًا على الجانب البعيد، دون أن يطأ قطّ مربّعًا مجاورًا للحفرة. وهذه هي السياسة المطبوعة في كل كتاب، والتي يتعلّم منها حدس الجميع هذا العالَم.

وعند $R = -0.05$ يتّجه إلى أعلى بدل ذلك: إلى (3,2)، المربّع الواقع مباشرةً يسار الحفرة، سالكًا الطريق القصير وقابلًا باحتمال حقيقي أن تدفعه الريح جانبًا إلى الـ$-1$.

والانقلاب عند $R = -0.044833$. والإعداد المألوف يعلوه بـ$0.004833$. ومكافأة بقاء قدرها $-0.04$ وأخرى قدرها $-0.05$ اختيار واحد في نظر أيّ حكم بشري، وهما تنتجان حكايتين مختلفتين عمّا يفعله وكيل عاقل في هذا العالَم.

أمّا المنافع فتتحرّك بسلاسة خلال ذلك كلّه: $U(1,1)$ يساوي $0.705308$ عند $R = -0.04$، و$-1.600186$ عند $R = -0.4$، و$-10.815340$ عند $R = -2$. فالسياسة، أي الشيء الذي تنشره فعلًا، هي الدالّة الدرجيّة.

ج. سياستان تبدوان خللًا

فوق -0.022145 يدفع الوكيل الجدار عمدًا. فلكل مكافأة بقاء بين $-0.022145$ و$0$، وهي أرخص الخطوات في المجال كلّه، يكون الفعل الأمثل في (4,1)، الركن الأيمن الأسفل، هو أسفل. ولا شيء تحته؛ فالحركة ترتطم بالأرض ويبقى الوكيل مكانه باحتمال 0.8، وينزلق جانبًا باحتمال 0.1 إلى كل جهة، وإحداهما ترتطم بجدار أيضًا.

وليس هذا خللًا. فالمربّع الذي يعلو (4,1) مباشرةً هو الحفرة. وحين لا يكلّف الوقت شيئًا يُذكر، يكون أرخص ما يُفعل في ذلك الركن ألّا يُفعل شيء، وأفضل فعل يحقّق هذا اللاشيء هو الدفع نحو الأرض. فكل حركة مقصودة تخاطر بالانحراف صعودًا إلى الـ$-1$.

وعند الطرف الآخر يغوص الوكيل في الحفرة. فمن أجل $R < -1.649707$ يكون الفعل الأمثل في (3,2) هو الذهاب يمينًا، أي مباشرةً إلى النهاية $-1$. فما إن تتجاوز كلفة الخطوة الإضافيّة 1.649707 حتى يفوز أسرع المخارج، والحفرة أقربها. و $U(1,1) = -10.815340$ عند $R = -2$: الوكيل ليس مرتبكًا، بل هو في عالَم يكلّف فيه الوجود كثيرًا.

والسلوكان كلاهما تعظيم سليم. وكلاهما سيُبلَّغ عنه بوصفه خللًا من لم ينظر في مكافأة البقاء، ولا يُصلَح أيٌّ منهما بتغيير الخوارزميّة.

د. ما العمل

الخلاصات العمليّة قصيرة ومحدّدة.

• امسح الوسيط الذي لم تحسب أنّك تختاره. تسع سياسات على مجال واحد ليست اكتشافًا غريبًا؛ بل هي شكل أيّ أرغماكس ثابت بالقطع. والمسح رخيص: كل حلٍّ هنا نظام خطّي $11 \times 11$.
• أبلغ عن المجال لا عن النقطة. «السياسة المثلى من أجل $-0.0448 < R < -0.0274$» دعوى تصمد أمام من يقرّب مكافأة البقاء. أمّا «السياسة المثلى من أجل $R = -0.04$» فدعوى عن رقم واحد، وهي الأضعف وإن بدت أدقّ.
• المكافأة المضبوطة وسيط مُلائَم. فتعديل كلفة الخطوة حتى يفعل الوكيل الصواب ملاءمةٌ، والقيمة الناتجة ترث كل تحفّظ يلحق بأيّ وسيط مُلائَم. وبخاصّة لا ينبغي أن تُعرض بعد ذلك بوصفها جزءًا من البيئة.
• افحص طرفَي المجال الذي تعتقده. إن كان اعتقادك أنّ «الوقت مكلف قليلًا، نحو بضعة بالمئة لكل خطوة» فاحلل عند طرفَي «بضعة بالمئة». وهنا يحتوي ذلك المجال على ثلاث عتبات.

والصيغة الأعمق للفكرة أنّ دالّة المكافأة ليست وصفًا للعالَم. إنّها المواصفة الكاملة للغاية التي وُجد الوكيل من أجلها، وجزءٌ منها يُكتب مرّةً في ملف إعدادات ولا يُراجَع ولا يُغيَّر يعمل أكثر من كل ما يتجادل فيه الناس.