الشبكات الالتفافية للرؤية

أطعِم صورة فوتوغرافية للطبقة الكثيفة من ما هي الشبكة العصبية؟ وسيختلّ شيء فوراً: فصورة ملوّنة متواضعة بحجم $224 \times 224$ تحوي 150,528 عدداً، ووصل كل واحد منها بكل وحدة في طبقة من 1000 وحدة يحتاج أكثر من 150 مليون وزن - لطبقة واحدة. والأسوأ أن النموذج سيضطر إلى تعلّم شكل الحافة على حدة لكل موضع في الصورة، إذ لا شيء يربط الوزن عند بكسل بالوزن عند جاره.

يحلّ الالتفاف المشكلتين بفكرة واحدة: مرّر مجموعة صغيرة من الأوزان على الصورة كلها. تعرّف هذه المقالة العملية بدقة، وتحلّ كاشف حواف يدوياً، ثم تتناول التحوّل الذي جعله محورياً في الرؤية - إذ كفّت النوى عن أن يصمّمها الناس وصارت تُتعلَّم.

أ. الصور، وما تعنيه الرؤية «منخفضة المستوى»

الصورة مصفوفة شدّات. ويصف راسل ونورفيغ أوائل العمليات في خط الرؤية بخاصيتين: فهي محلية، أي يمكن تنفيذها في جزء من الصورة دون التفات إلى ما يبعد أكثر من بضعة بكسلات، وهي بلا معرفة، أي تعمل دون أي اعتبار للأجسام التي قد تكون في المشهد. ويلاحظان أن هذا يجعلها مرشّحة جيدة للعتاد المتوازي - معالج رسوميات، أو عين.

والمحلية هي الخاصية التي بُني الالتفاف لاستثمارها. فكاشف الحافة الرأسية يحتاج رؤية حفنة من البكسلات المجاورة؛ ولا يحتاج الـ150,000 الأخرى.

ب. الالتفاف، مُعرَّفاً

يقدّم راسل ونورفيغ التعريف مباشرة. الدالة $h$ هي التفاف $f$ و$g$، ويُكتب $f * g$، حين

$$h(x, y) = (f * g)(x, y) = \sum_{u=-\infty}^{+\infty} \sum_{v=-\infty}^{+\infty} f(u, v)\, g(x - u,\, y - v) .$$

وعملياً تكون $g$ - النواة أو المرشّح - صفراً خارج نافذة صغيرة، فتكون المجاميع على رقعة $3\times3$ أو $5\times5$ لا على المستوي كله. وكل بكسل خرج هو مجموع مرجّح لجوار صغير من بكسلات الدخل، بالأوزان نفسها في كل موضع.

ملاحظة أمانة ترميزية. يتضمّن التعريف أعلاه $g(x-u,\, y-v)$: أي أن النواة تُقلَب قبل تطبيقها. وتتخطّى أطر التعلّم العميق القلبَ وتحسب $\sum_u \sum_v f(x+u,\,y+v)\,g(u,v)$ - وهو بدقّة ارتباط متقاطع - مع أنها تسمّي الطبقة التفافاً. ولنواة سوبل أدناه يختلف الاثنان بالإشارة: فرقعتنا تعطي $+320$ بالارتباط المتقاطع و$-320$ بالالتفاف الحقيقي. ولا فرق عملي في شبكة، لأن النواة مُتعلَّمة: فأياً كان اصطلاح الإطار، يجد التدريب ببساطة النواة التي تعمل في ظله. ولا يهمّ ذلك إلا حين تقارن صيغاً بين كتاب ومكتبة برمجية.

ج. كاشف حواف محلول

الحواف، بتعريف راسل ونورفيغ، خطوط أو منحنيات في مستوي الصورة يقع عبرها تغيّر معتبر في السطوع. والغرض من إيجادها ضربٌ من الضغط: التجريد بعيداً عن الصورة الفوضوية ذات الميغابايتات نحو تمثيل أكثر إحكاماً. ويحرصان على التمييز بين أربعة أسباب فيزيائية تنتج جميعها النوع نفسه من حواف الصورة - انقطاعات العمق، وانقطاعات اتجاه السطح، وانقطاعات الانعكاسية، وانقطاعات الإضاءة كالظلال. ويعمل كشف الحواف على الصورة وحدها ولا يستطيع التمييز بينها؛ وعلى المعالجة اللاحقة أن تفعل.

خذ صورة $5\times5$ بحافة رأسية واحدة - داكنة على اليسار، ساطعة على اليمين:

$$I = \begin{bmatrix} 10 & 10 & 10 & 90 & 90\\ 10 & 10 & 10 & 90 & 90\\ 10 & 10 & 10 & 90 & 90\\ 10 & 10 & 10 & 90 & 90\\ 10 & 10 & 10 & 90 & 90 \end{bmatrix}, \qquad K = \begin{bmatrix} -1 & 0 & 1\\ -2 & 0 & 2\\ -1 & 0 & 1 \end{bmatrix} .$$

$K$ هي نواة سوبل الأفقية: تطرح ما على اليسار مما على اليمين، فتستجيب للحواف الرأسية وتتجاهل المناطق المستوية.

رقعة مستوية. نافذة $3\times3$ العلوية اليسرى كلها $10$:

$$(-1)(10) + (0)(10) + (1)(10) + (-2)(10) + (0)(10) + (2)(10) + (-1)(10) + (0)(10) + (1)(10) = 0 .$$

تُلغي الأوزانُ السالبة الموجبةَ تماماً. والنواة التي تجمع أوزانها إلى صفر تعيد صفراً على أي رقعة ثابتة - فهي تقيس فرقاً لا سطوعاً.

رقعة تمتطي الحافة. النافذة التي تبدأ عند العمود 2:

$$\begin{bmatrix}10 & 10 & 90\\ 10 & 10 & 90\\ 10 & 10 & 90\end{bmatrix} \;\longrightarrow\; (-1)(10) + (1)(90) + (-2)(10) + (2)(90) + (-1)(10) + (1)(90)$$ $$= -10 + 90 - 20 + 180 - 10 + 90 = 320 .$$

وبتمرير النواة دون قلبها على المواضع التسعة الصالحة (وهو ارتباط متقاطع نرمز له بـ$\star$، كما تحسبه الأطر؛ أما الالتفاف الحقيقي $I * K$ فيعكس إشارة كل مدخلة):

$$I \star K = \begin{bmatrix} 0 & 320 & 320\\ 0 & 320 & 320\\ 0 & 320 & 320 \end{bmatrix} .$$

والخرج - خريطة سمات - صورةٌ لموضع الحافة. فالمناطق المستوية أصفار؛ والعمودان اللذان يمتدّان عبر قفزة الشدّة يضيئان.

د. التنعيم أولاً، ومبرهنة توفّر مروراً

الصور الحقيقية مشوّشة، والفرق يضخّم الضجيج. والعلاج المعياري هو التنعيم أولاً بدالة غاوسية،

$$N_\sigma(x, y) = \frac{1}{2\pi\sigma^2}\,e^{-(x^2 + y^2)/2\sigma^2},$$

بالتفاف الصورة معها، $I * N_\sigma$. ويلاحظ راسل ونورفيغ أن $\sigma$ بمقدار بكسل واحد ينعّم قدراً صغيراً من الضجيج بينما ينعّم بكسلان أكثر لكن على حساب التفاصيل، وأنه لأن تأثير الغاوسية يخبو سريعاً يمكن بتر المجاميع اللانهائية عند $\pm 3\sigma$.

وثمّة اقتصاد جميل متاح هنا. فمن المبرهَن أنه لأي $f$ و$g$،

$$(f * g)' = f * (g') ,$$

أي أن مشتقّة الالتفاف تساوي الالتفاف مع المشتقّة. فبدل تنعيم الصورة ثم اشتقاقها، يمكنك التفاف الصورة مرة واحدة مع مشتقّة دالة التنعيم، $N'_\sigma$، ثم اعتبار قمم الاستجابة التي تتجاوز عتبةً حوافّ. فيصير المروران مروراً واحداً.

هـ. لماذا لا نستخدم طبقة كثيفة وحسب

خاصيّتان تجعلان الالتفاف الأداةَ الصحيحة، وكلتاهما قابلة للعدّ.

تشارك البارامترات. نواة $3\times3$ على 3 قنوات لونية تعني $3 \times 3 \times 3 = 27$ وزناً، وطبقة من 64 مرشّحاً كهذا تعني $1{,}728$. أما الطبقة الكثيفة في المقدّمة - $224\times224\times3$ مدخلاً إلى 1000 وحدة - فهي $150{,}528{,}000$ وزن. أي بمعامل نحو 87,000. وعلى الطبقة الكثيفة أيضاً أن تتعلّم كاشف حواف مستقلاً عند كل موضع؛ بينما تتعلّم الطبقة الالتفافية واحداً وتطبّقه في كل مكان.

التغايُر المكافئ. وسّع صورتنا إلى ستة أعمدة كي تبقى الحافة المزاحة داخل المنطقة الصالحة، ثم حرّك الحافة عموداً واحداً إلى اليمين فتتحرّك الاستجابة معها، بلا تغيّر في القيمة:

$$\text{edge at column 3:}\; \begin{bmatrix}0 & 320 & 320 & 0\end{bmatrix} \qquad \text{edge at column 4:}\; \begin{bmatrix}0 & 0 & 320 & 320\end{bmatrix}$$

(الصفوف محذوفة؛ فكل الصفوف متطابقة). لا يعبأ الكاشف بـموضع الحافة، وهذا هو الصواب تماماً - فالحافة حافة أينما ظهرت.

التغايُر المكافئ ليس الثبات. فالاستجابة قد انزاحت مع الدخل بدل أن تبقى ثابتة. يعطي الالتفاف تغايراً مكافئاً للإزاحة؛ أما المصنِّف الذي يجب أن يخرج التسمية نفسها مهما كان الموضع فيحتاج شيئاً إضافياً - عادةً مراحل تخفيض عيّنات أو تجميع تتخلّى تدريجياً عن الاستبانة المكانية، بحيث يُسقَط الدخل المزاح عند الطبقة الأخيرة على الإجابة نفسها. ويُخلط بين المصطلحين روتينياً، وهما ليسا الخاصية ذاتها.

و. حين كفّت النوى عن التصميم

كل ما سبق يستخدم نواة اختارها أحدهم. فأوزان سوبل ترميز بشري لـ«ابحث عن تدرّج أفقي في السطوع». وهكذا عملت الرؤية عقوداً، ومثال شولّيه عن تلك الحقبة دقيق: فقبل نجاح الشبكات الالتفافية في تصنيف أرقام MNIST، كانت الحلول تقوم عادةً على سمات مثبّتة يدوياً مثل عدد الحلقات في صورة الرقم، أو ارتفاع الرقم، أو مدرّج تكراري لقيم البكسلات.

والتغيّر هو أن مُدخلات النواة صارت أوزاناً، تُتعلَّم بالنزول التدرّجي نفسه الذي يدرّب أي طبقة أخرى. وصياغة شولّيه للتعلّم العميق أنه يؤتمت هندسة السمات كلياً - إذ تتعلّم كل السمات في مرور واحد بدل هندستها بنفسك، وهو ما يستبدل غالباً بنموذج واحد من الطرف إلى الطرف خطَّ معالجة متعدّد المراحل ومتطوّراً. كدّس طبقات كهذه فتحصل على ما وعد به القسم أ: طبقات متعاقبة من تمثيلات متزايدة النفع، تستجيب أولاها للحواف وتالياتها لتوليفاتها.

وكان الحكم التجريبي حاسماً. يسجّل شولّيه أن الشبكات الالتفافية صارت منذ 2012 الخوارزمية المعتمدة في كل مهامّ الرؤية الحاسوبية تقريباً، وأن دقة الخمسة الأوائل (top-5) الفائزة في ImageNet بلغت عام 2015 نسبة 96.4٪ واعتُبرت المهمة محلولة، وأنه بعد 2015 صار من شبه المستحيل العثور على عرض في مؤتمر رؤية كبير لا يتضمّنها.

«مُتعلَّم» لا تعني «بلا قيود». فالطبقة الالتفافية ما زالت تُدخل افتراضات قوية - أن السمات النافعة محلية، وأن السمة الجديرة بالكشف في موضع جديرة به في كل موضع. وهذه الافتراضات هي ما يجعلها كفوءة، وهي أيضاً سبب كونها المعمارية الخاطئة حين لا تصحّ. ويدرج شولّيه اختيار المعمارية ضمن الأوليات النمذجية التي تتحمّل مسؤوليتها، إلى جانب دالة الخسارة وتهيئة التدريب.

الخلاصات الأساسية

• الالتفاف هو $\sum_u\sum_v f(u,v)\,g(x-u,\,y-v)$ - فكل بكسل خرج مجموع مرجّح لجوار صغير، بـالأوزان نفسها في كل مكان.
• تحسب الأطر ارتباطاً متقاطعاً (بلا قلب للنواة) وتسمّيه التفافاً؛ ومع النوى المتعلَّمة لا فرق عملياً.
• النواة التي تجمع أوزانها إلى صفر تقيس فرقاً لا سطوعاً: فمرشّح سوبل عندنا يعيد $0$ على الرقع المستوية و$320$ عبر الحافة (دون قلب؛ و$-320$ بالالتفاف الحقيقي).
• التنعيم قبل الفرق يضبط الضجيج، و$(f*g)' = f*(g')$ يطوي المرورين في مرور واحد.
• يتفوّق الالتفاف على الطبقة الكثيفة بنحو 87,000× في البارامترات على صورة $224\times224$، ويتشارك كاشفاً واحداً عبر كل المواضع.
• الالتفاف متغايرٌ مكافئ للإزاحة لا ثابت - فالاستجابة تتحرّك مع السمة.
• كان التغيّر الحاسم هو تعلّم النوى بدل تصميمها، فحلّ ذلك محلّ سمات مثبّتة يدوياً مثل «عدد الحلقات في الرقم».

ما التالي

الصور شبكات ذات مفهوم طبيعي للمحلية. أما النص فليس كذلك - إذ قد يقع السياق ذو الصلة بكلمة في أي مكان من المتتالية، فتكون النافذة المحلية الثابتة أولية خاطئة تماماً. ويتطلّب التعامل مع ذلك آلية مختلفة، تُطوَّر في الانتباه والانتباه الذاتي، وقبلها طريقة لتحويل النص إلى متجهات أصلاً: التقطيع إلى وحدات والتضمينات.