أبطأ اتّجاه هو الذي يحدّد الإيقاع

لِنُوائم منحنًى تربيعيًّا لمئة نقطة بالنزول الاشتقاقي. ولا شيء غريب هنا: أعمدة مصفوفة التصميم هي $1$ و$t$ و$t^2$ من أجل $t$ موزّعة بانتظام على $[0, 1]$، والخسارة خطأ تربيعي، والخطوة أفضل خطوة ثابتة لهذه المسألة، ويتوقّف التشغيل حين تصير الخسارة على بعد $10^{-6}$ من أدناها، نسبةً إلى موضع الانطلاق.

يستغرق ذلك 1742 خطوة.

والآن مركِز العمودين غير الثابتين وقِسهما. البيانات نفسها، والمواءمة نفسها، والأدنى نفسه. 147 خطوة.

والآن استبدل بالأعمدة الثلاثة أساسًا متعامدًا متجانسًا للفضاء نفسه، وهو ما يخرجه تحليل QR باستدعاء واحد. خطوة واحدة.

وتنتهي الثلاثة إلى الجواب نفسه. فمجاميع مربّعات البواقي متّفقة حتى عشر منازل عشريّة عند $0.1936196358$، والقيم المُوائَمة متّفقة في حدود $1.8 \times 10^{-15}$، لأنّ الأسس الثلاثة تفرد الفضاء نفسه، والمربّعات الصغرى لا تبالي بأيّها تتلقّى. أمّا المُحسِّن فيبالي.

أ. من أين تأتي النسبة

في خسارة تربيعيّة هسيّتها $H$، يحدّد كلَّ شيء قيمتان ذاتيّتان: الكبرى $L$ والصغرى $m$.

فـ$L$ يحدّ حجم الخطوة. خُذ خطوةً أكبر من $2/L$ على امتداد المتّجه الذاتي الأشدّ انحدارًا فيتجاوز التكرار إلى موضع أسوأ ممّا بدأ منه؛ ويتباعد التشغيل.

و$m$ يحدّ التقدّم. فعلى امتداد المتّجه الذاتي الأكثر استواءً يكون الاشتقاق صغيرًا، فلا تنقلك خطوةٌ بالحجم المسموح به إلّا قليلًا.

أنت مُلزَم بخطوةٍ يحدّدها أشدّ الاتّجاهات انحدارًا، ثم عليك أن تقطع بها أكثرها استواءً. وبالخطوة الثابتة المثلى $\alpha = 2 / (L + m)$ ينقص الخطأ بعامل

$$\frac{\kappa - 1}{\kappa + 1}, \qquad \kappa = \frac{L}{m},$$

في كل خطوة، فيكون عدد الخطوات اللازم لدقّة معيّنة متناسبًا مع $\kappa$، أي عدد الشرط. ولا يظهر في ذلك شيء عن عمق القصعة. فقد تكون الخسارة هائلةً وسهلة، أو ضئيلةً وعسيرة.

وللتحقّق النظيف، خُذ تربيعيّةً ثنائيّة البعد قيمتاها الذاتيّتان 1 و100. تتنبّأ الصيغة بـ$\lceil \log 10^{-6} / \log(99/101) \rceil = 691$ خطوةً لتقليص المسافة إلى الأمثل بعامل $10^{-6}$. ويستغرق التشغيل 691. (وإن عددتَ على الخسارة خرجتَ بنصف ذلك، لأنّ الخسارة مربّع المسافة. والمعدّل يصف المسافة.)

ب. الأسس الثلاثة، مقيسة

عدد الشرط للتصاميم الثلاثة أعلاه، وكلفة كلٍّ منها:

والسطر الأوّل ليس تصميمًا شاذًّا. بل هو الطريقة البديهيّة لكتابة مواءمة تربيعيّة، على مجال مرتّب، بلا قيم شاذّة ولا خطّيّة مشتركة تُذكر. فالأعمدة $1$ و$t$ و$t^2$ تشير ببساطة إلى اتّجاهات متقاربة على $[0,1]$: ثلاثتها موجبة ومتزايدة على معظم المدى، فتبتعد الهسيّة كثيرًا عن أن تكون مضاعفًا للمحايدة.

والسطر الأخير هو الحالة الحديّة الجديرة بالحفظ. فحين يكون $\kappa = 1$ تناسب الخطوة المسموح بها كلَّ الاتّجاهات دفعةً واحدة، ويبلغ النزول الاشتقاقي بـ $\alpha = 1/L$ أدنى التربيعيّة في خطوة واحدة. وكل التكرار في السطر الأوّل هو المُحسِّن يلتفّ حول اختيار إحداثيّات.

ج. ماذا يشتري الزخم وماذا لا يشتري

زخم الكرة الثقيلة يضيف التحديث السابق إلى الحالي. وعلى تربيعيّة، مضبوطًا على أفضل وجه، يكون معدّله المقاربي

$$\frac{\sqrt{\kappa} - 1}{\sqrt{\kappa} + 1},$$

وهو ما يستبدل $\sqrt{\kappa}$ بـ$\kappa$ في عدّ الخطوات. وعلى مسألة $\kappa = 100$ أعلاه يتنبّأ ذلك بـ69 خطوة مقابل 691 للنزول الاشتقاقي، ويقيس التشغيل 93 - أبطأ من الحدّ المقاربي لأنّ الحدّ يصف الذيل لا الطور العابر، لكنّه مع ذلك عامل 7.43 على المسألة نفسها وبقاعدة التوقّف نفسها.

يُفتح الشكل على عدد الحالة 23.841. اسحبه إلى 100 فيحتاج النزول الاشتقاقي البسيط 691 خطوة كما أعلاه، بينما يحتاج الزخم 90 خطوة من نقطة بداية الشكل مقابل 93 من النقطة المستعملة هنا: فعدد الخطوات يتوقّف على نقطة البداية، أمّا معدّلات التقارب فلا.

والجذر التربيعي هو المكسب كلّه، ويحسن الدقّة في معناه. فالزخم لا يصلح عدد الشرط؛ بل ينقل الكلفة من $\kappa$ إلى $\sqrt{\kappa}$. وعلى $\kappa = 10^4$ هذا هو الفرق بين اليائس والبطيء، لا بين البطيء والسريع. وهو يُدخل كذلك وسيطًا فائقًا ثانيًا تتوقّف قيمته المثلى على $\kappa$، وأنت لا تعرفه.

أمّا إعادة القياس، حيثما أمكنت، فأفضل قطعًا: فهي تغيّر $\kappa$ نفسه، وتكلّف مرورًا واحدًا على البيانات، ولا تحتاج ضبطًا.

د. لماذا نجد ذلك في كل مكان

ما إن تبحث عن النسبة بدل العمق حتى يكفّ كثير من الممارسات المعتادة عن أن يبدو فولكلورًا.

• معيرة المدخلات عملُ تحسينٍ لعدد الشرط. فإعادة كتابة سمة من الكيلومترات إلى المليمترات تضرب عمودها في $10^6$ ومدخلها في $X^{\top}X$ في $10^{12}$، وذلك العامل يحطّ مباشرةً في $\kappa$.
• الطرائق المتكيّفة مثل RMSProp وAdam تحفظ حجم خطوة لكل إحداثي، وهو مُهيّئ قطري: محاولةٌ لمساواة القيم الذاتيّة بثمن زهيد، بما يسع القطر أن يحمله من معلومات.
• طبقات التسوية تُبقي التنشيطات على مقياس متقارب أثناء التدريب، فتمنع الهسيّة من الانزلاق إلى نسبة سيّئة في منتصف التشغيل.
• الوصلات المتبقّية تقصّر الطريق الذي يقطعه الاشتقاق، فتمنع انتشار الانحناء عبر العمق من التراكم.

ولا يجعل أيٌّ من ذلك الخسارة أصغر. جميعها تجعل الخسارة نفسها أرخص في النزول، وهذا شيء آخر، وهو في ضوء الجدول أعلاه العامل الأكبر في الغالب.