ما هي الشبكة العصبية؟

الشبكة العصبية ليست نموذجاً للدماغ. إنها سلسلة من تحويلات بسيطة قابلة للضبط، مكدّسة بحيث يعمل كلٌّ منها على خرج سابقه. وشولّيه صريح بشأن المصطلح: الاسم إحالة إلى بيولوجيا الأعصاب، ويذكر اسمين كان يمكن اختيار أيّهما بالقدر نفسه: تعلّم التمثيلات المطبَّقة على طبقات وتعلّم التمثيلات الهرميّة. و«العميق» في التعلّم العميق ليس ادّعاءً بعمق الفهم - بل يشير إلى عدد الطبقات المكدّسة بعضها فوق بعض.

تبني هذه المقالة الشيء من الأساس: ما الطبقة الواحدة، ولماذا اللاخطية بين الطبقات ضرورة رياضية لا زينة، وماذا تشتري العمق فعلاً. وتُحسَم الحجّة المركزية ببرهان ومثال محلول صغير بما يكفي للتحقّق منه على الورق.

أ. الطبقة تحويل مُبارَم

تأخذ الطبقة الكثيفة متجهاً، وتضربه بمصفوفة، وتضيف انحيازاً، وتطبّق دالة عنصراً عنصراً:

$$\mathbf{a} = g(W\mathbf{x} + \mathbf{b}) .$$

ثلاثة أجزاء:

• $W$ و$\mathbf{b}$ هما أوزان الطبقة - الأعداد التي تُضبط أثناء التدريب. وكل ما تعرفه الشبكة يسكن هنا.
• $g$ هي دالة التنشيط، تُطبَّق على كل مركّبة على حدة.
• $\mathbf{x}$ هو ما أنتجته الطبقة السابقة.

والشبكة كومة من هذه الطبقات. وصياغة شولّيه أن كل طبقة تتعلّم تمثيلاً للبيانات، وأن العمق يعني طبقات متعاقبة من تمثيلات متزايدة النفع، تُتعلَّم كلها تلقائياً من التعرّض لبيانات التدريب لا تُصمَّم يدوياً. وهذا هو التباين مع ما يسمّيه التعلّم الضحل، الذي يستخرج طبقة أو طبقتين من التمثيل - كمدرّج تكراري للبكسلات يتبعه قاعدة تصنيف - ويقتضي أن يقرّر إنسان ما تلك السمات.

ب. لماذا ليست دالة التنشيط اختيارية

لنفترض أننا أسقطنا $g$ وكدّسنا طبقتين خطيتين بحتاً:

$$\mathbf{h} = W^{(1)}\mathbf{x}, \qquad \mathbf{y} = W^{(2)}\mathbf{h} = W^{(2)}\left(W^{(1)}\mathbf{x}\right) = \left(W^{(2)}W^{(1)}\right)\mathbf{x} .$$

ضرب المصفوفات تجميعي، فتنهار المصفوفتان في واحدة. وبعبارة ملموسة، مع

$$W^{(1)} = \begin{bmatrix}2 & 0\\ 0 & 3\end{bmatrix},\qquad W^{(2)} = \begin{bmatrix}1 & 1\\ 0 & 1\end{bmatrix},$$

يكون التركيب

$$W^{(2)}W^{(1)} = \begin{bmatrix}2 & 3\\ 0 & 3\end{bmatrix},$$

أي طبقة واحدة. أضف مئة طبقة خطية أخرى ويبقى الأمر طبقة واحدة. العمق بلا لاخطية لا يشتري شيئاً على الإطلاق - لا نموذجاً أضعف قليلاً، بل مجموعة الدوال القابلة للتمثيل نفسها بالضبط.

وأشيع دوال التنشيط هي ReLU، أي $g(z) = \max(0, z)$، التي تمرّر القيم الموجبة دون تغيير وتقيّد السالبة إلى صفر. وهي بالكاد أكثر من انكسار، وذلك الانكسار يكفي.

يستعمل الشكل شبكة أخرى من طبقتين، بلا انحيازات. عند مدخله الابتدائي تكون الوحدتان عاملتين، فتساوي الشبكة تحويلها الخطي المنهار؛ اسحب المدخل الأوّل أو المدخل الثاني حتى تنطفئ إحدى الوحدتين، فتفترق ReLU عن الطبقة المنهارة.

ج. دالة لا تستطيع طبقة واحدة حسابها

لإظهار أهمية الانكسار نحتاج إلى مهمة يمكن البرهان على عجز النموذج الخطي عنها. وXOR هي المهمة المعيارية: مدخلان ثنائيان، والخرج $1$ حين يختلفان.

الدعوى. لا توجد دالة بالصورة $y = w_1x_1 + w_2x_2 + b$ تعيد إنتاج هذا الجدول.

البرهان. لنفترض وجودها. خذ الصفوف تباعاً:

• $(0,0) \mapsto 0$ يفرض $b = 0$.
• $(1,0) \mapsto 1$ يفرض $w_1 + b = 1$، ومن ثم $w_1 = 1$.
• $(0,1) \mapsto 1$ يفرض $w_2 + b = 1$، ومن ثم $w_2 = 1$.
• $(1,1) \mapsto 0$ يفرض $w_1 + w_2 + b = 0$.

وبالتعويض بالثلاثة الأولى في الرابعة نحصل على $1 + 1 + 0 = 2$، وكنا نحتاج $0$. التناقض لا مفرّ منه، فلا وجود لمثل $w_1, w_2, b$. $\blacksquare$

وهندسياً، لا يستطيع النموذج الخطي أن يقطع فضاء المدخلات إلا بحدّ مستقيم واحد، وتقع فئتا XOR على قطرين متقابلين - فلا يفصلهما مستقيم.

د. طبقتان، محلولتان يدوياً

لنضف الآن طبقة مخفية من وحدتي ReLU. والأوزان أدناه مختارة لا مدرَّبة، بحيث يمكن التحقّق من كل رقم:

$$W^{(1)} = \begin{bmatrix}1 & 1\\ 1 & 1\end{bmatrix},\quad \mathbf{b}^{(1)} = \begin{bmatrix}0\\ -1\end{bmatrix},\quad W^{(2)} = \begin{bmatrix}1 & -2\end{bmatrix},\quad b^{(2)} = 0 .$$

تحسب الوحدتان المخفيّتان كلتاهما $x_1 + x_2$؛ ولا تختلفان إلا في الانحياز، فتشتعل الأولى كلما كان المجموع موجباً ولا تشتعل الثانية إلا حين يبلغ المجموع $2$. وتطرح طبقة الخرج ضعف الثانية من الأولى.

خذ $\mathbf{x} = (1,1)$ خطوةً خطوة:

$$\mathbf{z}^{(1)} = W^{(1)}\mathbf{x} + \mathbf{b}^{(1)} = \begin{bmatrix}1+1+0\\ 1+1-1\end{bmatrix} = \begin{bmatrix}2\\ 1\end{bmatrix},$$ $$\mathbf{a}^{(1)} = \max(0, \mathbf{z}^{(1)}) = \begin{bmatrix}2\\ 1\end{bmatrix}, \qquad y = 1(2) + (-2)(1) = 0 . \checkmark$$

المدخلات الأربعة كلها:

مضبوطة في الصفوف الأربعة.

راقب الصف الأول. التنشيط القبلي للوحدة الثانية $-1$، وتقيّده ReLU إلى $0$. وذلك التقييد هو مصدر قدرة الشبكة الإضافية كلّه: فهو الموضع الوحيد الذي يتوقّف فيه التركيب عن كونه خطياً. أزِله - بجعل $\mathbf{a}^{(1)} = \mathbf{z}^{(1)}$ - > فينطبق انهيار القسم ب من جديد، وتعود الشبكة عاجزة عن حساب XOR.

هـ. ماذا يشتري العمق فعلاً

يعطي شولّيه أوضح صورة لهذا. تخيّل ورقة حمراء وأخرى زرقاء، مكدّستين ثم مكرمشتين معاً في كرة. الكرة هي بيانات مدخلك؛ وكل ورقة فئة. ومهمة النموذج إيجاد تحويل يفكّ كرمشة الكرة حتى تعود الورقتان قابلتين للفصل بنظافة.

وتفعل الشبكة العميقة ذلك تدريجياً: فبدل البحث عن تحويل واحد بالغ التعقيد، تفكّك المهمة إلى سلسلة طويلة من تحويلات أوّلية، كلٌّ منها حركة تستطيع أصابعك أداءها على كرة الورق. وشبكة XOR عندنا أصغر نسخة ممكنة من ذلك - إذ تطوي الطبقة المخفية فضاء المدخلات حتى تصير الفئتان، اللتان لم يكن يفصلهما أي مستقيم، قابلتين للفصل بمستقيم واحد.

ولهذا يكون العمق مورداً مختلفاً حقاً عن العرض. فكلاهما يضيف بارامترات، لكن العمق يضيف تركيباً، والتركيب هو ما يحوّل سلسلة تحويلات بسيطة إلى تحويل معقّد.

السَّعة ليست فهماً. يحرص شولّيه على إضافة أن مثل هذا النموذج هو في جوهره منحنى بالغ الأبعاد مُلائَم بالنزول التدرّجي، بما يكفي من البارامترات ليلائم أي شيء تقريباً - درّبه طويلاً بما يكفي وسينتهي إلى الحفظ. والقدرة على تمثيل دالة ليست القدرة على التعميم من البيانات، وهو شأن مقايضة التحيّز والتباين.

و. من التمثيل إلى التعلّم

اخترنا أوزان XOR يدوياً. أما الشبكات الحقيقية فتكتشفها، والآلية هي دالة خسارة - ويسمّيها شولّيه أيضاً دالة الهدف - تأخذ تنبّؤ الشبكة والهدف الحقيقي وتحسب درجة مسافة تلخّص مدى سوء أداء الشبكة. ويضبط التدريب الأوزان لتصغير تلك الدرجة.

والانتقال من «هذه درجة» إلى «هكذا ينبغي أن يتغيّر كل واحد من مليون وزن» هو موضوع المقالة التالية.

الخلاصات الأساسية

• الطبقة تحويل مُبارَم $g(W\mathbf{x} + \mathbf{b})$؛ والأوزان هي كل ما تعرفه الشبكة.
• الطبقات الخطية المكدّسة تنهار إلى طبقة خطية واحدة - فـ$W^{(2)}W^{(1)}$ ليست إلا مصفوفة أخرى - ومن ثم فاللاخطية بينها ضرورة رياضية لا خيار ضبط.
• لا تستطيع طبقة خطية واحدة حساب XOR؛ فالقيود الأربعة تفرض $1+1+0 = 0$، وهو تناقض.
• طبقة مخفية من وحدتي ReLU تحسب XOR بالضبط، والخطوة اللاخطية الوحيدة فيها تقييد مفرد لـ$-1$ إلى $0$.
• يوفّر العمق التركيب: تحويل معقّد مفكَّك إلى سلسلة تحويلات أوّلية - وهو فكّ كرمشة متشعّبة البيانات المطوية عند شولّيه.
• امتلاك سَعة كافية لتمثيل دالة ليس كالتعميم من البيانات.

ما التالي

ضبطنا أوزان XOR يدوياً. وإيجادها تلقائياً يعني حساب استجابة الخسارة لكل وزن في الشبكة دفعةً واحدة، وهو بالضبط ما يفعله الانتشار العكسي والنزول التدرّجي.