المبرهنة التي لا تقول شيئًا عن مسألتك

ثلاثة مداخل ثنائيّة، أي ثماني نقاط ممكنة، ودالّةٌ تُسنِد وسمًا لكلٍّ منها. وعدد هذه الدوالّ $2^8 = 256$، وهي كلّها.

أرِ متعلّمًا أربعًا من النقاط الثماني بأوسامها الحقيقيّة، وقيّمه على الأربع الباقية. افعل ذلك لكلٍّ من الدوالّ الـ256 وخُذ المتوسّط:

والسطر الأخير متعلّمٌ بُني ليخطئ: يجد أقرب نقطة تدريب ويتوقّع عكس وسمها. وبمتوسّط على كل الدوالّ يكون جيّدًا تمامًا كأقرب جار، وهو جيّد تمامًا كتجاهل البيانات رأسًا.

هذه هي مبرهنة انعدام الغداء المجّاني، والجدول ليس تقريبًا. فكل خانة تعدادٌ مضبوط لـ256 دالّة.

أ. لماذا لا يمكن أن تخرج على غير ذلك

لأيّ أربع نقاط محجوزة تنتظم الدوالّ الـ256 أزواجًا. فلكل دالّة $f$ أخرى تطابقها على نقاط التدريب الأربع وتخالفها على نقاط الاختبار الأربع. والمتعلّم يرى بيانات التدريب نفسها في الحالتين، فيتوقّع الشيء نفسه، فيكون مجموع أخطائه على الزوج أربعةً من أربع. وبالمتوسّط على الزوج: النصف بالضبط.

ولا يدخل في هذه الحجّة شيء من صفات المتعلّم. فهي تصدق على شبكة عميقة، وعلى جدول بحث، وعلى مولّد أعداد عشوائيّة.

ب. ولماذا لا تنطبق

المبرهنة تأخذ متوسّطًا على توزيع منتظم على كل الدوالّ. وهذا هو الفرض الذي يقوم بالعمل، وليس فرضًا هيّنًا: فتحته تكون أوسام النقاط التي لم ترَها مستقلّةً عن أوسام التي رأيتها. وعالَمٌ يُسحب هكذا لا يحوي بنيةً قابلة للتعلّم بالبناء، والمبرهنة تقول ذلك.

اقصُر المتوسّط نفسه على الدوالّ الستّ التي تعتمد على بتّ واحد - $f(x) = x_i$ أو $f(x) = \neg x_i$، وهي أبسط بنية ممكنة - فتعطي المتعلّمات الأربعة نفسها:

فيظهر الترتيب فورًا، وهو الترتيب الذي يتوقّعه أيّ أحد: التنبّؤ بالتشابه ينفع حين تحمل المدخلات المتشابهة أوسامًا متشابهة، وصار النقيض سيّئًا بمقدار ما المتعلّم جيّد بالضبط.

وهذان الرقمان يخصّان التقسيم المعتمد في المقال كلّه، حيث يُرى المتعلّم النقاط الأربع التي بتّها الأوّل 0؛ أمّا بالمتوسّط على الطرق الـ70 لاختيار نقاط التدريب الأربع فتعطي الدوالّ الستّ 0.342857 لأقرب جار و0.657143 لنقيضه، بالترتيب نفسه.

وستٌّ من 256 هي 2.3% من فضاء الدوالّ. وكل مسألة واقعيّة تعيش في جزء لا يقلّ عن ذلك خصوصيّةً، وغالبًا أكثر بكثير.

ج. فيمَ تنفع المبرهنة فعلًا

ليست حجّةً على أنّ الطرائق كلّها سواء. بل هي برهانٌ على أنّه لا طريقة أفضل على الإطلاق، وهذا له لازم دقيق ونافع: أن نجاح متعلّمٍ على صنف من المسائل يُشترى بمطابقته لذلك الصنف، ويُدفع ثمنه إخفاقًا على مُتمّمه.

وهذا هو المضمون الحقيقي، ويحسن ذكره بالصورة التي يأخذها عمليًّا:

• لكل متعلّم تحيّز استقرائي، حتى الذي لا يعلن عن واحد. فأقرب الجيران يفترض أنّ المدخلات المتقاربة تتشارك الأوسام؛ والنماذج الخطّيّة تفترض آثارًا تجميعيّة؛ والشبكات الالتفافيّة تفترض أنّ الانسحاب يهمّ وأنّ الموضعيّة تنفع. ولا شيء من ذلك محايد، ولا يمكن أن يكون.
• نتيجة أيّ معيار قياس قولٌ عن صنف من المسائل. فـ«الطريقة س تتفوّق على الطريقة ص» دعوى عن التوزيع الذي سُحب منه المعيار، لا عن التعلّم عمومًا.
• السؤال النافع ليس أبدًا أيّ خوارزميّة أفضل. بل أيّ الفروض تحقّقها مسألتك فعلًا، وأيّ طريقة مبنيّة عليها.

د. وفيمَ لا تنفع

كثيرًا ما تُستدعى المبرهنة لإنهاء نقاشات لا تحسمها: أنّ اختيار النموذج عبث، أو أنّ معرفة المجال لا تُرمَّز نافعةً، أو أنّ مقارنة الطرائق بلا معنى. والثلاثة يدحضها الجدول الثاني. فتحت بنية رقيقة كـ«الوسم يعتمد على واحد من ثلاث بتّات» يكون متعلّمٌ ضعفَ آخر جودةً، ويلزم 256 تقييمًا مضبوطًا لإظهار ذلك.