الانتشار العكسي والنزول التدرّجي

الشبكة العصبية سلسلة من عمليات بسيطة، لكلٍّ منها أوزان قابلة للضبط. والتدريب هو إيجاد أوزان تجعل الخرج صحيحاً. وفكرتان تؤدّيان العمل كلّه: النزول التدرّجي، الذي يحدّد إلى أين نحرّك الأوزان، والانتشار العكسي، الذي يحسب التدرّج بكفاءة مهما بلغ عمق السلسلة.

يُوصف الانتشار العكسي غالباً بأنه صعب. وهو قاعدة السلسلة، مطبَّقةً بترتيب محدّد. وتحسب هذه المقالة كل مشتقّة لشبكة صغيرة يدوياً ثم تتحقّق من النتائج مقابل محرّك اشتقاق تلقائي.

أ. الطبقات والأوزان والخسارة

تطبّق الطبقة الكثيفة تحويلاً خطياً يتبعه لاخطية عنصراً عنصراً:

$$\mathbf{a} = g(W\mathbf{x} + \mathbf{b}) ,$$

حيث $W$ مصفوفة أوزان، و$\mathbf{b}$ متجه انحياز، و$g$ دالة تنشيط. وبدون $g$ لكان تكديس الطبقات بلا طائل: فتركيب تطبيقات خطية ليس إلا تطبيقاً خطياً آخر، ولما أمكن للشبكة تمثيل شيء لا تمثّله طبقة واحدة.

نستخدم ReLU، أي $g(z) = \max(0, z)$، ومشتقّتها $1$ عند $z > 0$ و$0$ عند $z < 0$.

وتقيّم دالة الخسارة الخرجَ مقابل الهدف. ولخرج قياسي نستخدم

$$L = \tfrac{1}{2}(\hat y - y)^2 ,$$

والـ$\tfrac12$ تيسير يُلغى عند الاشتقاق.

وإعادة التأطير الجوهرية: مع تثبيت البيانات، تكون $L$ دالة في الأوزان. والتدريب هو تصغير تلك الدالة.

ب. النزول التدرّجي

يشير التدرّج $\nabla L$ في اتجاه أشدّ ازدياد، ولذا نخطو عكسه لخفض $L$:

$$w \leftarrow w - \eta \frac{\partial L}{\partial w} ,$$

حيث $\eta$ معدّل التعلّم. فإن صغر زحف التدريب؛ وإن كبر تجاوز الهدف - وهو الإخفاق نفسه المبرهَن عددياً في الانحدار اللوجستي، حيث أساءت خطوة مقدارها $0.5$ إلى الهدف إساءةً بالغة.

ومن ثم تختزل المسألة كلها إلى حساب $\partial L / \partial w$ لكل وزن. وقد تضمّ الشبكة ملايين الأوزان، وحساب كلٍّ منها على حدة ميؤوس منه. أما الانتشار العكسي فيحصل عليها جميعاً في مرور خلفي واحد.

ج. الشبكة التي سنشتقّها

مدخلان، وطبقة مخفية ReLU بوحدتين، وخرج خطي واحد. والانحيازات أصفار.

$$\mathbf{x} = \begin{bmatrix}1\\2\end{bmatrix},\quad W^{(1)} = \begin{bmatrix}0.1 & 0.3\\ 0.2 & 0.4\end{bmatrix},\quad W^{(2)} = \begin{bmatrix}0.5 & -0.5\end{bmatrix},\quad y = 1 .$$

المرور الأمامي.

$$\mathbf{z}^{(1)} = W^{(1)}\mathbf{x} = \begin{bmatrix}0.1(1) + 0.3(2)\\ 0.2(1) + 0.4(2)\end{bmatrix} = \begin{bmatrix}0.7\\ 1.0\end{bmatrix} .$$

كلا المدخلين موجب، فتمرّرهما ReLU دون تغيير:

$$\mathbf{a}^{(1)} = \begin{bmatrix}0.7\\ 1.0\end{bmatrix} .$$ $$\hat y = z^{(2)} = 0.5(0.7) + (-0.5)(1.0) = 0.35 - 0.5 = -0.15 .$$ $$L = \tfrac12(-0.15 - 1)^2 = \tfrac12(-1.15)^2 = \tfrac12(1.3225) = 0.66125 .$$

د. المرور الخلفي

نمشي الآن إلى الوراء، حاملين معنا مشتقّة $L$ بالنسبة إلى كل كمية. وكل خطوة تطبيق واحد لقاعدة السلسلة.

الخطوة 1 - الخرج.

$$\frac{\partial L}{\partial \hat y} = \hat y - y = -0.15 - 1 = -1.15 .$$

الخطوة 2 - أوزان الخرج. بما أن $\hat y = W^{(2)}\mathbf{a}^{(1)}$، فإن $\partial \hat y / \partial W^{(2)}_j = a^{(1)}_j$، ومن ثم

$$\frac{\partial L}{\partial W^{(2)}} = \frac{\partial L}{\partial \hat y}\,\mathbf{a}^{(1)} = -1.15 \begin{bmatrix}0.7 & 1.0\end{bmatrix} = \begin{bmatrix}-0.805 & -1.15\end{bmatrix} .$$

لاحظ البنية: تدرّج الوزن هو إشارة الخطأ الواصلة إليه مضروبةً في التنشيط الداخل إليه. وهذا النمط يصحّ عند كل طبقة.

الخطوة 3 - العودة عبر طبقة الخرج. لنمضي قدماً نحتاج إلى كيفية تغيّر $L$ مع التنشيطات المخفية:

$$\frac{\partial L}{\partial \mathbf{a}^{(1)}} = \frac{\partial L}{\partial \hat y}\,W^{(2)} = -1.15\begin{bmatrix}0.5 & -0.5\end{bmatrix} = \begin{bmatrix}-0.575 & 0.575\end{bmatrix} .$$

يُوزَّع الخطأ إلى الوراء بنسبة الأوزان التي حملت الإشارة إلى الأمام.

الخطوة 4 - عبر ReLU. اضرب عنصراً عنصراً في مشتقّة التنشيط. وكانت التنشيطتان القبليّتان موجبتين، فمشتقّتاهما $1$:

$$\frac{\partial L}{\partial \mathbf{z}^{(1)}} = \begin{bmatrix}-0.575 & 0.575\end{bmatrix} .$$

من هنا تأتي الوحدات الميتة. لو كانت التنشيطة القبلية سالبة، لكانت مشتقّة ReLU $0$ ولأُفني التدرّج - فلا تصل إشارة خطأ إلى أي وزن يغذّي تلك الوحدة، ولا تستطيع التعلّم. والوحدة العالقة في السالب لكل المدخلات وحدة ميتة، وهي الدافع المعياري لمتغيّرات مثل leaky ReLU.

الخطوة 5 - أوزان الدخل. النمط نفسه كما في الخطوة 2: إشارة الخطأ في التنشيط الوارد، وهو هنا المدخل نفسه.

$$\frac{\partial L}{\partial W^{(1)}} = \frac{\partial L}{\partial \mathbf{z}^{(1)}} \mathbf{x}^{\top} = \begin{bmatrix}-0.575\\ 0.575\end{bmatrix}\begin{bmatrix}1 & 2\end{bmatrix} = \begin{bmatrix}-0.575 & -1.15\\ 0.575 & 1.15\end{bmatrix} .$$

كل تدرّج في الشبكة، من مرور أمامي واحد ومرور خلفي واحد.

هـ. التحقّق مقابل الاشتقاق التلقائي

الاشتقاقات اليدوية عرضة للخطأ، ولا سبب للثقة باشتقاق لم يُتحقَّق منه:

يطبع الاثنان True: أي أن التدرّجات المحسوبة يدوياً تتّفق مع اشتقاق PyTorch التلقائي حتى دقة الفاصلة العائمة.

و. أخذ الخطوة

يتحرّك كل وزن عكس تدرّجه هو. ومع $\eta = 0.1$:

$$W^{(2)} \leftarrow \begin{bmatrix}0.5 & -0.5\end{bmatrix} - 0.1\begin{bmatrix}-0.805 & -1.15\end{bmatrix} = \begin{bmatrix}0.5805 & -0.385\end{bmatrix} ,$$ $$W^{(1)} \leftarrow \begin{bmatrix}0.1 & 0.3\\ 0.2 & 0.4\end{bmatrix} - 0.1\begin{bmatrix}-0.575 & -1.15\\ 0.575 & 1.15\end{bmatrix} = \begin{bmatrix}0.1575 & 0.415\\ 0.1425 & 0.285\end{bmatrix} .$$

وإعادة حساب المرور الأمامي بالمصفوفتين المحدَّثتين تعطي $\hat y = 0.2989$ و

$$L = \tfrac12(0.2989 - 1)^2 = 0.2457 ,$$

هبوطاً من $0.66125$. خطوة واحدة خفضت الخسارة إلى أقل من نصفها. ولاحظ أن $\hat y$ تحرّك من $-0.15$ نحو الهدف $y = 1$ - لم يتجاوزه بشيء، بل تحرّك في الاتجاه الصحيح فحسب، وهو كل ما تَعِد به خطوة تدرّج.

الشكل أدناه هو هذه الشبكة وعليها كل أرقامها: التفعيلات على الوحدات، وعلى كل وزنٍ التدرّجُ الذي يبلغه. تحقّق من أيٍّ منها بمقابلته بالحساب أعلاه. ثم حرّك معدّل التعلّم. فالدرس محقّ في أن الخطوات تتقلّص من تلقاء نفسها قرب النهاية الصغرى، ومن الجدير أن تعرف كم تبعد الهاوية على الجانب الآخر: فعند 0.5، أي خمسة أضعاف المعدّل المستعمل هنا، تدفع الخطوةُ المفرطة الأولى إحدى الوحدتين المخفيتين إلى السالب، وتدفع الثالثةُ الأخرى، فيحجب ReLU عندئذٍ كل تدرّج تحتهما، وتبقى الشبكة عند خسارة 0.5 إلى الأبد. وليس هذا تباعدًا، بل موتًا، ويقع في ثلاث خطوات.

ز. الدفعات، ولماذا تتوسّع الخوارزمية

لا يستخدم التدريب الحقيقي مثالاً واحداً. فـالنزول التدرّجي العشوائي يحسب التدرّج على دفعة صغيرة عشوائية ويخطو، مكرّراً ذلك عبر البيانات. وتدرّج الدفعة أكثر ضجيجاً من تدرّج البيانات كاملة لكنه أرخص بكثير، والضجيج نافع في الغالب - إذ قد يُخرج البارامترات من مناطق رديئة.

وكفاءة الانتشار العكسي هي ما يجعل هذا كله ممكناً: مرور أمامي واحد ومرور خلفي واحد يعطيان المشتقّة بالنسبة إلى كل بارامتر، بكلفة تتناسب مع المرور الأمامي لا مع عدد البارامترات. أما حساب كل واحدة من مليون مشتقّة جزئية على حدة بالفروق المنتهية فكان سيحتاج مليون مرور أمامي.

التدرّج محلي، وسطح الخسارة ليس محدّباً. فخلافاً للمربّعات الصغرى، لخسارة الشبكة صغريات ونقاط سرج كثيرة، ولا يقدّم النزول التدرّجي أي ضمان بالعثور على أفضلها. وفي الممارسة تكثر الصغريات الجيدة بما يكفي، لكن «تقارب» ليست «وجد المثالية».

الخلاصات الأساسية

• يعيد التدريب تأطير الخسارة بوصفها دالة في الأوزان ويصغّرها بالنزول التدرّجي، $w \leftarrow w - \eta\,\partial L/\partial w$.
• التنشيطات اللاخطية ضرورية؛ فالطبقات الخطية المكدّسة تنهار إلى طبقة واحدة.
• الانتشار العكسي هو قاعدة السلسلة مطبَّقةً إلى الوراء، مع إعادة استخدام كل مشتقّة وسيطة.
• كل تدرّج وزن هو التنشيط الوارد × إشارة الخطأ الصادرة - القاعدة نفسها عند كل طبقة.
• شبكتنا المحلولة: $L = 0.66125$، و$\partial L/\partial W^{(2)} = [-0.805, -1.15]$، و$\partial L/\partial W^{(1)} = [[-0.575, -1.15], [0.575, 1.15]]$، مؤكَّدة مقابل الاشتقاق التلقائي.
• وحدات ReLU ذات التنشيط القبلي السالب تمرّر تدرّجاً صفرياً وقد تموت.

ما التالي

المرور الخلفي نفسه يدرّب المعمارية التي تقف خلف نماذج اللغة الحديثة، لكن تلك النماذج تحتاج آلية تتيح لكل موضع في المتتالية أن يستشير كل موضع آخر. وتلك الآلية هي الانتباه والانتباه الذاتي.