دالة التفعيل

تطبّق كل طبقة خفيّة دالة تفعيل على كل عنصر من مخرجها الخطي. والغرض بنيوي لا تجميلي: فبلا تفعيل ينتج تكديس الطبقات تحويلًا خطيًا آخر ويضيع العمق هدرًا. ثم يحدّد اختيار الدالة كيف تسلك التدرجات أثناء التدريب، وهذا ما يجعله ذا أثر عملي.

وReLU، التي تعيد المدخل إن كان موجبًا وصفرًا فيما عدا ذلك، هي الافتراضي للطبقات الخفيّة. فحسابها رخيص إلى حدّ التفاهة، ومشتقّتها عند المدخلات الموجبة تساوي واحدًا بالضبط، فلا تقلّص التدرجات العابرة رجوعًا ولا تضخّمها. وهذه الخاصية هي ما يجعل الشبكات البالغة العمق قابلة للتدريب، وهي التفعيل الذي يستعمله شوليه في الطبقات الخفيّة طوال الوقت.

أما الدالتان الأقدم sigmoid وtanh فتضغطان مدخلهما في مدى محدود، وهناك تكمن المشكلة. فعند المدخلات الموجبة أو السالبة الكبيرة يستوي المنحنى فتقترب المشتقّة من الصفر. ولأن الانتشار العكسي يضرب هذه المشتقات عبر الطبقات، فإن بضع وحدات متشبّعة تدفع تدرجات الطبقات الأولى نحو العدم فيتوقف التعلّم. واعتماد ReLU استجابةٌ لهذا في معظمه.

ولـ ReLU نمط إخفاق خاص بها: فالوحدة التي يكون مدخلها سالبًا دائمًا تُخرج صفرًا وتتلقى تدرجًا صفريًا، فلا تتعافى أبدًا. ووُجدت متغيّرات مثل ReLU المتسرّبة، التي تمنح المدخلات السالبة ميلًا صغيرًا غير صفري، لمعالجة ذلك. أما طبقات المخرج فمسألة أخرى، تُختار لتطابق الهدف لا لتيسير التحسين: softmax لتوزيع على الفئات، وsigmoid لاحتمال مستقل، ولا تفعيل البتة للانحدار غير المقيّد.