تجاوز الخطّية: الشرائح والنماذج الجمعية

يفترض الانحدار الخطّي أن المتنبّئ يعمل في خطّ مستقيم. فإن لم يفعل، كانت الغريزة أن نمدّ اليد إلى خوارزمية أكثر مرونة. وثمّة حركة أرخص تبقي المربّعات الصغرى وكل ما بُني عليها، ولا تغيّر إلا ما تنحدر عليه.

أ. دوالّ الأساس

انتقِ تحويلات لـ$X$ تكون ثابتة ومعلومة سلفًا، $b_1(X), \dots, b_K(X)$، ثم لائم

$$y_i = \beta_0 + \beta_1 b_1(x_i) + \cdots + \beta_K b_K(x_i) + \varepsilon_i .$$

فالانحدار كثير الحدود هو حالة $b_j(x) = x^j$. والدوالّ الدرجية هي حالة مؤشّرات السِّلال، وهي مفيدة حيث توجد نقاط قطع حقيقية ورديئة فيما عدا ذلك، إذ لا تستطيع السلّة أن تُظهر اتّجاهًا داخل نفسها. والكلمة المهمّة هي ثابتة: فالتحويلات تُختار ولا تُقدَّر، ومن ثمّ فهذا نموذج خطّي في الأعمدة الجديدة. وتنتقل الأخطاء المعيارية وإحصاءات $F$ وفترات الثقة كلّها كما هي.

ب. كثيرات الحدود المجزّأة تنكسر، والقيود تصلحها

بدلًا من كثير حدود عالميّ واحد، لائم تكعيبيًّا في كل منطقة، مقسومةً عند العقد. وبعقدة واحدة يكون ذلك تكعيبيَّين بأربع معلمات لكلٍّ منهما: ثماني درجات حرّية. ولا شيء يُلزم القطعتين بأن تلتقيا، وهما لا تلتقيان. فعلى 200 نقطة محاكاة بعقد عند 40 و50 و60، تقفز القيمة الملائَمة بمقدار 6.34 و5.55 و6.26 وحدة على التوالي - وليس ذلك تقريبًا، بل منحنًى منقطع حقًّا.

والعلاج هو القيود: الاتّصال، ثم اتّصال المشتقّة الأولى، ثم اتّصال الثانية. وكل قيد يزيل معلمة واحدة بالضبط، فيكون $8 - 3 = 5$، والناتج شريحة تكعيبية. وعمومًا، الشريحة التكعيبية بـ$K$ عقدة تستعمل $K + 4$ درجة حرّية، إذ تضيف كل عقدة جديدة تكعيبيًّا وثلاثة قيود.

ج. العمود الذي يفرض الملاسة مجّانًا

المربّعات الصغرى المقيّدة يمكن تجنّبها. ابدأ من $x, x^2, x^3$ وأضف عمود قوّة مبتورة واحدًا لكل عقدة،

$$h(x, \xi) = (x - \xi)_+^3 = \begin{cases} (x - \xi)^3 & x > \xi \\ 0 & \text{otherwise,} \end{cases}$$

فتفرض القيودُ نفسَها بنفسها. والدعوى قابلة للتحقّق. فمن أجل $f(x) = 1 + 2x - 0.05x^2 + 0.001x^3 + 0.004(x-50)_+^3$، يعطي أخذ الفروق عبر العقدة

$$\begin{array}{lrrl} & \text{left} & \text{right} & \text{jump} \\ \hline f & 100.9996 & 101.0005 & 9 \times 10^{-4} \\ f' & 4.49998 & 4.50002 & 4 \times 10^{-5} \\ f'' & 0.200006 & 0.200010 & 4 \times 10^{-6} \\ f''' & 0.006 & 0.030 & 0.024 \end{array}$$

فالثلاثة الأولى خطأ الفروق العددية. والأخيرة حقيقية وتساوي $6\beta_4$ بالضبط. فالشريحة التكعيبية ملساء حتى المشتقّة الثانية ولا تنكسر إلا عند الثالثة - وهو الكسر الوحيد الذي لا تستطيع العين كشفه.

وأخذ فروق المنحنى الملائَم عند كل عقدة يعطي قفزات من رتبة $10^{-4}$ أو أصغر، مقابل أكثر من ستّ وحدات للملاءمة غير المقيّدة على البيانات والعقد نفسها. ولم تتغيّر إلا الأعمدة.

وتبقى الشرائح تسيء التصرّف عند الأطراف، حيث لا تكون للتكعيبيّ بيانات إلا على جانب واحد. والشريحة الطبيعية تشترط الخطّية وراء أبعد العقد - قيدان عند كل طرف - فتنقل $K + 4$ درجة حرّية إلى $K$ وتضيّق حزم الثقة الحدّية تضييقًا مرئيًّا. وهذا هو سبب تفوّق الشرائح على كثيرات الحدود عند المرونة نفسها: فكثير الحدود يرفع درجته على امتداد المدى كلّه فيتأرجح في الذيول، بينما تضيف الشريحة دالّة أساس صفرًا حتى تبلغ عقدتها.

يلائم الشكل أدناه الأساسين كليهما على عيّنة واحدة، والأساس مجرّد مفتاح. فمع وجود أعمدة القوى المبتورة يكون المنحنى متّصلًا في f وf′ وf′′ عند كل عقدة، وهذه أصفار مضبوطة لا أرقام صغيرة، لأن الأساس عاجز أصلًا عن التعبير عن كسر هناك كي تجده المربّعات الصغرى. وانتقل إلى كثيرة حدود تكعيبية حرة لكل منطقة، فإذا البيانات نفسها والعقد نفسها والمربّعات الصغرى نفسها تمزّق المنحنى. وأزِح العقد حيث شئت: فالملاسة لا تتعلّق بموضعها.

د. جازِ الخشونة بدل اختيار العقد

الشريحة الملسّاء تزيل اختيار العقد بالكامل. صغِّر

$$\sum_{i=1}^{n}\big(y_i - g(x_i)\big)^2 + \lambda \int g''(t)^2\,\mathrm{d}t .$$

فالمشتقّة الثانية تقيس الخشونة - وهي صفر للمستقيم - ومن ثمّ فالتكامل يجمع التموّج. والمُصغِّر شريحة تكعيبية طبيعية بعقدة عند كل مشاهدة فريدة، مقلَّصةً بـ$\lambda$.

ويبدو ذلك وكأنه $n$ معلمة وإفراط ملاءمة مؤكّد، والحلّ هو درجات الحرّية الفعّالة، أي أثر المصفوفة التي تنقل $y$ إلى القيم الملائَمة. ومقيسةً على النقاط المئتين نفسها:

$$\begin{array}{rrr} \lambda & \text{RSS} & \text{effective df} \\ \hline 10^{-6} & 1{,}021 & 186.2 \\ 10^{0} & 10{,}213 & 25.2 \\ 10^{6} & 12{,}801 & 2.06 \\ 10^{18} & 12{,}850.75 & 2.00 \end{array}$$

وفي الأسفل تكون للملاءمة 2.00 درجة حرّية فعّالة ومجموع مربّعات بواقٍ قدره $12{,}850.75$، وهو مطابق حتى الجزء من المئة لقيمة مستقيم المربّعات الصغرى الاعتيادي. فالنهاية ليست مستقيمًا تقريبًا؛ بل هي المستقيم.

وللطرف الآخر ملاحظة أمينة. عند $\lambda = 0$ بالضبط تزول العقوبة، وكل منحنى يمرّ بالنقاط الـ200 جميعًا مجموعُ مربّعات بواقيه صفر، فلا تختار دالة الهدف وحدها منحنًى بعينه. أما الشريحة الطبيعية فتختار: بعقدة عند كل قيمة من قيم $x$ الـ200 المتمايزة تكون لها 200 عمود بالضبط مقابل 200 صفّ، والملاءمة هي الشريحة التكعيبية الطبيعية المستكمِلة الوحيدة. وهي أيضًا النهاية حين $\lambda \to 0$، إذ ترتفع درجات الحرّية الفعّالة إلى $n = 200$ بالضبط.

والانحدار الموضعي يبلغ غايات مشابهة بطريق آخر: عند كل نقطة هدف، خذ الكسر $s$ الأقرب من البيانات، وزِن بحسب المسافة، ولائم مستقيمًا موزونًا. والمدى $s$ يؤدّي دور $\lambda$، والطريقة قائمة على الذاكرة، إذ يعيد كل تنبّؤ الملاءمة.

هـ. متنبّئات كثيرة، منحنى لكلٍّ منها

النموذج الجمعي المعمّم يعطي كل متنبّئ دالّته الخاصّة ثم يجمعها:

$$y_i = \beta_0 + f_1(x_{i1}) + \cdots + f_p(x_{ip}) + \varepsilon_i .$$

ولأنها تُجمع، يمكن رسم كل $f_j$ وقراءتها بوصفها أثر ذلك المتنبّئ مع تثبيت سائرها. وتلك القابلية للتفسير هي سبب تفضيل النموذج الجمعي المعمّم على التعزيز أو آلة متّجهات الدعم النواتية. والثمن في الكلمة نفسها: فالأثر الذي لا يوجد إلا في تركيبة من المتنبّئات يكون خفيًّا ما لم تُضِف التفاعل يدويًّا.

وبالشرائح الطبيعية مكوّناتٍ يكون النموذج ملاءمة مربّعات صغرى واحدة كبيرة. وبالشرائح الملسّاء يُلاءم بـإعادة الملاءمة التتابعية، بالدوران على المتنبّئات وإعادة ملاءمة كلٍّ منها مقابل البواقي الجزئية حتى لا يتغيّر شيء.

أين يضعك هذا

لست بحاجة إلى خوارزمية جديدة لملاءمة منحنى. حوِّل الأعمدة تبقَ المربّعات الصغرى منطبقة. والقيود تشتري الملاسة بدرجة حرّية واحدة بالضبط لكلٍّ منها، والأساس الحسن الاختيار يجعلها مجّانية. والجزاء يستبدل باختيار العقد معاملَ ضبط واحدًا نهايتاه دالّةُ استيفاء ومستقيم. والجمعية تحمل ذلك كلّه إلى متنبّئات كثيرة مع الإبقاء على الخاصّية الواحدة التي تتخلّى عنها الطرائق المرنة: فيبقى في وسعك أن تقول ما الذي يفعله كل متنبّئ. ومسار التدريب تجاوز الخطّية يعالج كلًّا من هذه يدويًّا وبالبرمجة.