الخطوة، وحافة الاستقرار

كل نموذج في هذا الموقع يُلاءم بالطريقة نفسها. الانحدار الخطي، والانحدار اللوجستي، والشبكة العصبية، والمحوّل: كلٌّ منها يكتب رقمًا يقول كم هو مخطئ الآن، ويسأل في أي اتجاه ينزل هذا الرقم، ثم يتحرّك. النموذج يتغيّر؛ أما الحلقة فلا.

والذي يتغيّر، والذي يحسم أتأخذ الحلقة أربعين خطوة أم تنفجر في ثلاث، هو الهندسة المحيطة بها. وهذا الدرس عن أصغر جزء من تلك الهندسة: خطوة واحدة.

ما الذي تصغّره الحلقة

يصغّر التدريبُ الخطر التجريبي - أي متوسط الخسارة على البيانات المتاحة:

$$f(w) \;=\; \frac{1}{n}\sum_{i=1}^{n} \ell\!\left(w; x_i, y_i\right).$$

وأمثلة هذا المسار كلها تستعمل مسألة مربعات صغرى بـ$n = 400$ نقطة ووسيطين، لأن كل شيء فيها يُحسب بالضبط ويُقارن بما تدّعيه النظرية. خسارتها $f(w) = \frac{1}{n}\lVert Xw - y\rVert^2$، ومصغّرها $w^\star = (1.973613, -2.947388)$، والخسارة عنده $f^\star = 0.233943$. ومعرفة الجواب سلفًا هي المقصد: فهي تحيل كل دعوى أدناه قياسًا.

تدرّج الدفعة الصغيرة هو التدرّج الكامل زائد ضجيج

حساب $\nabla f(w)$ يعني لمس الأمثلة $n$ كلها. أما الدفعة الصغيرة ذات الحجم $B$ فتلمس $B$ منها وتأخذ متوسطها:

$$g_B(w) \;=\; \frac{1}{B}\sum_{i \in \mathcal{B}} \nabla \ell(w; x_i, y_i).$$

ولأن $\mathcal{B}$ عيّنة منتظمة، فإن $\mathbb{E}[g_B(w)] = \nabla f(w)$ بالضبط. ويستحق هذا عنايةً في الصياغة، لأن الاعتقاد البديل - أن الدفعة الصغيرة تشير إلى وجهة مختلفة منهجيًا - يقود إلى استنتاجات خاطئة عن حجم الدفعة.

عند نقطة الأصل $w = (0, 0)$ يساوي التدرّج الكامل ‎(−3.416495, 0.179597)‎. ومتوسط 20٬000 دفعة صغيرة مستقلة عند النقطة نفسها يعطي:

العمود الأول يتقلّص نحو الصفر لأنه بقيّة مونت كارلو في المتوسط لا تحيّز. أما العمود الثاني فهو الحكاية الحقيقية: ستة عشر ضعف الدفعة يشتري $1.4382 / 0.3027 = 4.75$ ضعف الدقة، قريبًا من $\sqrt{16} = 4$ الذي يتنبأ به متوسط سحبات مستقلة. والزيادة البالغة 19٪ فوق 4 ليست ضجيجًا: فهذه الدفعات تُسحب بغير إرجاع من ‎$n = 400$‎ نقطة فحسب، وعامل المجتمع المنتهي ‎$(n - B)/(n - 1)$‎ يقلّص دفعةً من 128 أكثر بكثير من دفعةٍ من 8. وذلك يتنبأ بـ‎$4\sqrt{392/272} = 4.80$‎، أما السحب بإرجاع، وهو المستقلّ حقًا، فيعطي 3.89 بدلًا من ذلك. وهذا التبادل هو سبب استعمال التدريبات دفعاتٍ صغيرة وخطواتٍ كثيرة بدل العكس. فالحساب يشتري الدقة بالجذر، ويشتري الخطوات خطيًا.

العامل ‎(1 − ηλ)‎

وأما الخطوة نفسها: قرب الصغرى تشبه الخسارة وعاءً تربيعيًا، وشكل ذلك الوعاء هو الهسّيان $H$. اكتب الخطأ $e_t = w_t - w^\star$؛ فخطوة تدرّج بمعدّل $\eta$ تعطي

$$e_{t+1} \;=\; (I - \eta H)\, e_t .$$

حلّل $e_t$ على متجهات $H$ الذاتية. فكل مركّبة تُضرب ببساطة في $1 - \eta\lambda$، حيث $\lambda$ انحناء ذلك الاتجاه، والاتجاهات لا تتفاعل البتة. فالخطوة الواحدة ليست حركةً واحدة؛ بل هي من الانكماشات المستقلة بعددِ اتجاهات الانحناء، كلٌّ بمعدّله.

ولا تنكمش المركّبة إلا حين $\lvert 1 - \eta\lambda \rvert < 1$، أي بالضبط $\eta < 2/\lambda$. وكل اتجاه يجب أن ينكمش، فالقيد الحاكم هو أشدّها:

$$\eta \;<\; \frac{2}{L}, \qquad L = \lambda_{\max}(H).$$

الجرف، مقيسًا

في هذه المسألة $L = 1.760627$، فالعتبة $2/L = 1.135959$. تنفيذان من نقطة البدء نفسها، مئتا خطوة لكلٍّ منهما:

تغيّرٌ بنسبة اثنين في المئة في الخطوة يفصل تنفيذًا متقاربًا عن آخر يبعد خمس مراتب عشرية. وليس هذا تدهورًا لطيفًا بمنطقة رمادية في الوسط؛ بل هو تغيّر إشارة في $1 - \eta L$، وما إن يهبط ذلك العامل دون $-1$ حتى يتضخّم أشدّ الاتجاهات انحناءً بعامل ثابت في كل خطوة إلى الأبد.

وصورة هذا العملية مألوفة لكل من رأى منحنى خسارة يصير NaN خلال بضع عشرات من الخطوات بعد تغيير في معدّل التعلّم بدا بريئًا. لم يكن شيء غير مستقر ثم صار غير مستقر؛ بل عبَر التنفيذ عتبةً كانت قائمة منذ البداية.

المستقر غير الأسرع

معرفة $L$ لا تعني وضع $\eta = 2/L$. فالاستقرار والسرعة مسألتان منفصلتان، ولهما جوابان مختلفان.

ينكمش الخطأ بمقدار $\max\big(\lvert 1 - \eta L\rvert, \lvert 1 - \eta\mu \rvert\big)$ في الخطوة، حيث $\mu = \lambda_{\min}(H)$ أكثر الاتجاهات استواءً. ورفع $\eta$ يسرّع الاتجاه المستوي ويبطئ الحادّ، فأفضل خطوة حيث تلتقي الكلفتان:

$$\eta^\star \;=\; \frac{2}{L + \mu}.$$

هنا $\mu = 0.073849$، فيكون $\eta^\star = 1.090230$ - وهو دون عتبة التباعد بوضوح. وكل حجم خطوة بين $\eta^\star$ و$2/L$ هو أبطأ وأقرب إلى الجرف.

وتلك الصيغة تستحق التحقق لا الثقة. فتشغيل الـ200 خطوة نفسها عند كل من 2000 حجم خطوة وأخذ ما ينتهي أقرب إلى $w^\star$ يعطي أمثلًا تجريبيًا قدره ‎1.088582‎ مقابل ‎1.090230‎ المشتقّ - توافق في حدود $1.6 \times 10^{-3}$. وهذه الفجوة الصغيرة ليست من الشبكة: ففي 200 خطوة فقط تقع أفضل خطوة دون الأمثل المقارب بقليل، وتقترب منه كلّما طال التنفيذ. فبين الاشتقاق والبحث على شبكة ثلاثة أسطر، والشبكة تلتقط أخطاء الإشارة التي يخفيها الجبر.

ما لم يفسّره هذا بعد

حقيقتان تتجاوران بضيق. أفضل خطوة في هذه المسألة نحو ‎1.09‎، و$\mu$ يساوي ‎0.074‎ - فالاتجاه الأكثر استواءً لا يتحرك إلا بمقدار $\eta\mu \approx 8\%$ من خطئه الباقي في الخطوة، حتى عند المعدّل الأمثل. وهذه النسبة، لا حجم الخطوة، هي ما يجعل التدريب بطيئًا، ولها اسم وعلاج.

الاسم هو عدد الشرط، والعلاج هو الدرس التالي.