وسيط واحد، وسعة لا نهائيّة

إليك مصنّفًا. يأخذ عددًا حقيقيًّا $x$، وله وسيط حقيقي واحد $\theta$، ويتنبّأ بـ

$$h_\theta(x) = \operatorname{sign}\left(\sin(\theta x)\right).$$

وسيط واحد. أقلّ ممّا لمستقيم يمرّ بالمبدأ في بعدين، وهو عادةً الطرف الرخيص من المقياس.

ضع عشرين نقطة عند $x_i = 2^{-i}$ من أجل $i = 1, \dots, 20$، وأعطه أيّ وسم شئت لتلك النقاط. عددها $2^{20} = 1{,}048{,}576$. وقيمة واحدة لـ$\theta$ تحقّق كلًّا منها، وقد فُحص ذلك استقصاءً.

أ. كيف يفعل ذلك

الحيلة أنّ $\theta$ لا يُستعمل مقبضًا يُدار، بل يُستعمل شريطًا يُسجَّل عليه.

خُذ الوسوم $y_1, \dots, y_m$، كلٌّ منها $\pm 1$، وضَع

$$\theta = \pi\left(1 + \sum_{i=1}^{m} \frac{1 - y_i}{2}\, 2^{i}\right).$$

عندئذٍ يقتطع $\theta x_i = \theta 2^{-i}$ النشر الثنائي لـ$\theta/\pi$ ابتداءً من الخانة $i$، وتقرأ إشارةُ الجيب البتَّ المكتوب هناك. فكل وسم يحتلّ خانته الثنائيّة، ولا يتصادم شيء، لأنّ النقاط اختيرت متباعدةً بأوكتاف.

والعدد الحقيقي يسع بتّاتٍ لا تُحصى. فليس ثمّة $m$ يتوقّف عنده هذا، ومن ثَمّ يفتّت الصنف $\{h_\theta\}$ مجموعاتٍ من كل حجم منتهٍ، وبُعده بالمعنى الفابنيكي-تشيرفونينكيسي لا نهائي.

ب. وهو لا يتعلّم شيئًا

وائم العشرين نقطة بوسوم عشوائيّة، ثم اسأله عن نقطة حادية وعشرين عند $x_{21} = 2^{-21}$، موسومة عشوائيًّا هي الأخرى. على 20,000 تجربة: دقّة تدريب 100% في كل مرّة، ودقّة خارج العيّنة 0.5038.

وهذا بالضبط ما يعنيه «البُعد اللانهائي» عمليًّا. فالوسوم العشرون تثبّت أوّل عشرين بتًّا من $\theta/\pi$ ولا تقول شيئًا البتّة عن البتّ الحادي والعشرين، فيكون التنبّؤ على نقطة جديدة رميةَ عملة. للنموذج ذاكرة تامّة وتعميم معدوم، والحدود المستقلّة عن التوزيع تمتنع عن قول أيّ شيء عنه، وهي محقّة.

وإلى هنا فالأمر طرفة. والجدير بالحفظ هو أثرها في عدّ الوسائط.

ج. عدد الوسائط ليس حدًّا أعلى

القراءة الطبيعيّة لـ«وسيط واحد» هي «لا يسع هذا الصنف أن يعبّر عن كثير». ويقول المصنّف الجيبي إنّ تلك القراءة خاطئة ببساطة. فالسعة تتعلّق بعدد الوسوم المتمايزة التي يستطيع صنفٌ إنتاجها على عيّنة منتهية، وعدد الوسائط لا يقيّدها إلّا حين تُستعمل الوسائط كما نتوقّع: على نحو متّصل، وموضعي، واتّجاه تغيّر واحد لكلٍّ منها.

والفواصل الخطّيّة في $\mathbb{R}^d$ بُعدها $d + 1$، فيصمد الحدس هناك ويسوء تعميمه فيما وراء ذلك. فعددٌ حقيقي واحد قد يحمل مجموعة تدريب بأكملها.

وللمقارنة، يعرض الشكل صنفًا بوسيطين سعته محدودة فعلًا: فمع فترة واحدة على ثلاث نقاط يبلغ 7 من الوسوم الثمانية، ولا يستطيع إنتاج (1, 0, 1).

د. وليس حدًّا أدنى أيضًا

والاتّجاه العكسي يفشل كذلك، وهو الذي يهمّ عمليًّا.

أضف شرط هامش إلى الفواصل الخطّيّة: أن تصنّف تصنيفًا صحيحًا مع بقاء كل النقاط على بعد $\gamma$ على الأقلّ من الحدّ، والبيانات داخل كرة نصف قطرها $R$. عندئذٍ تُحدّ سعة ذلك الصنف المقيَّد بـ$R^2 / \gamma^2$ أيًّا كان البعد. ادفع $d$ إلى اللانهاية، وهو ما تفعله النواة، فلا يتزحزح ذلك الحدّ: إذ أزال القيدُ كلَّ الدوالّ التي كان بوسع الوسائط أن تعبّر عنها تقريبًا، وما بقي يحكمه مقياس لا عدد.

والشبكات الحديثة هي الظاهرة نفسها على نطاق أوسع. فوسائطها أكثر من أمثلة تدريبها، فيضع العدُّ سعتها فوق $n$، ويصير كل حدٍّ كلاسيكي مبنيّ عليه فارغًا. ومع ذلك تعمّم. فالوسائط ليست حرّةً في أخذ قيم عشوائيّة: بل يبلغها مُحسِّن بعينه، من تهيئة بعينها، تحت اضمحلال الأوزان والإيقاف المبكر وتوسيع البيانات، ومجموعةُ الدوالّ التي يمكن بلوغها فعلًا بهذا الطريق أصغر بكثير ممّا يسع المعماريّة أن تعبّر عنه.

هـ. ماذا نقيس بدلًا من ذلك

إن كان العدّ لا يحدّ السعة في أيّ من الاتّجاهين، فالخيارات الأمينة تجريبيّة.

• حاول مواءمة وسوم عشوائيّة. فإن بلغ نموذجٌ خطأ تدريب صفرًا على المدخلات نفسها بعد خلط الوسوم، فسعته الفعليّة على تلك العيّنة $n$ على الأقلّ، وعلى أيّ تفسير لأدائه الحقيقي أن يأتي من غير حجم صنف الفرضيّات.
• قِس الهامش، وقِس المعيار. ففي الأصناف التي يوجد لها حدّ، يكون المقدار الوارد فيه مقياسًا لا عددًا: $R^2/\gamma^2$ للفواصل، ومعايير الأوزان للشبكات. وهذه أشياء يمكن حسابها بعد التدريب.
• احجز عيّنة، واحجزها حقًّا. فتقدير التحقّق قياس مباشر لما تحاول الحدود حدَّه، وهو يبقى مقياس السعة الوحيد المتاح دائمًا.
• ارتب في أيّ دعوى عن السعة تُقال قبل التدريب. فالمصنّف الجيبي يبعد سطرًا واحدًا من الشيفرة عن أن يبدو أبسط نموذج في الدنيا.

السعة خاصّيّةٌ لما تستطيع الإجراءات بلوغه فعلًا، لا لعدد الأعداد التي تخزّنها.