المربّعات الصغرى من المشتقّة

يُعرَض الانحدار الخطي عادةً صيغةً تُطبَّق. لكن فهمه أفضل بوصفه جواباً لسؤال في التفاضل: أي مستقيم يجعل مربّعات الأخطاء أصغر ما يمكن؟ فما إن تطرحه هكذا، حتى تتساقط المعاملات من مشتقّتين ولا يبقى شيء للحفظ.

الهدف

لائم $\hat y_i = \beta_0 + \beta_1 x_i$ وقِس سوء الملاءمة بـمجموع مربّعات البواقي:

$$\mathrm{RSS}(\beta_0, \beta_1) = \sum_{i=1}^{n}\big(y_i - \beta_0 - \beta_1 x_i\big)^2 .$$

ويؤدّي التربيع مهمّتين: يمنع تلاشي الأخطاء الموجبة والسالبة معاً، ويجعل RSS دالةً ملساء محدّبة، فيجد تصفير المشتقّات الصغرى الشاملة لا مجرّد نقطة سكون.

الاشتقاق

بالنسبة إلى المقطع:

$$\frac{\partial \mathrm{RSS}}{\partial \beta_0} = -2\sum_{i=1}^{n}\big(y_i - \beta_0 - \beta_1 x_i\big) = 0 \quad\Longrightarrow\quad \sum_{i=1}^{n} e_i = 0 ,$$

بكتابة $e_i$ للباقي. فشرط المقطع يضمن أن مجموع البواقي صفر تماماً - أو بالتكافؤ أن المستقيم المُلائَم يمرّ بنقطة المتوسطات $(\bar x, \bar y)$. وليس ذلك مصادفةً ولا اصطلاحاً؛ بل هو ما تقوله تلك المشتقّة الواحدة.

وبالنسبة إلى الميل، وبالتعويض بـ$\beta_0 = \bar y - \beta_1 \bar x$:

$$\hat\beta_1 = \frac{\sum_i (x_i - \bar x)(y_i - \bar y)}{\sum_i (x_i - \bar x)^2}, \qquad \hat\beta_0 = \bar y - \hat\beta_1 \bar x .$$

مثال محلول

خمس نقاط: $x = (1,2,3,4,5)$، و$y = (2.1, 3.9, 6.2, 7.8, 10.1)$.

$\bar x = 3.0$، و$\bar y = 6.02$. ومن ثم

$$S_{xy} = \sum (x_i - \bar x)(y_i - \bar y) = 19.90 , \qquad S_{xx} = \sum (x_i - \bar x)^2 = 10.00 ,$$

فيكون

$$\hat\beta_1 = \frac{19.90}{10.00} = 1.9900 , \qquad \hat\beta_0 = 6.02 - 1.99 \times 3 = 0.0500 .$$

والبواقي هي $(0.06,\, -0.13,\, 0.18,\, -0.21,\, 0.10)$ - ومجموعها $0$ تماماً، كما وعدت مشتقّة المقطع. تحقّق بنفسك؛ فذلك المجموع أسرع طريقة لالتقاط زلّة حسابية.

معامل التحديد، وفخّه

$$R^2 = 1 - \frac{\mathrm{RSS}}{\mathrm{TSS}}, \qquad \mathrm{TSS} = \sum_i (y_i - \bar y)^2 .$$

هنا $\mathrm{TSS} = 39.7080$ و$\mathrm{RSS} = 0.1070$، فيكون $R^2 = 0.9973$ - أي أن المستقيم يفسّر 99.73٪ من تغيّر $y$.

لماذا لا يستطيع $R^2$ ترتيب نماذج بأحجام مختلفة. إضافة أي متنبّئ، ولو كان ضجيجاً خالصاً، تمنح المربّعات الصغرى حريةً أكبر تماماً لخفض RSS. ومن ثم لا يمكن لـRSS أن تزيد أبداً عند إضافة متنبّئ، ولا يمكن لـ$R^2$ أن ينقص أبداً. والمقياس الذي يكافئ دائماً على زيادة المتنبّئات لا يصلح للبتّ في جدارة متنبّئ. فالمقارنات تحتاج شيئاً يعاقب على الحجم - معامل تحديد معدَّلاً، أو معيار معلومات، أو تقديراً محجوزاً من التحقّق المتقاطع.

شاهد المربّعات. يستخدم الشكل أدناه خمس نقاط أخرى، $(1,2), (2,4), (3,5), (4,4), (5,5)$، أكثر تشتّتاً بكثير من نقاط المثال المحلول. يُرسم فيه كل باقٍ مع مربّعه، فيكون RSS هو مساحتها الكلية، مقابل TSS الذي يتركه المتوسط الثابت. حرّك المقطع والميل، أو اضغط انتقل إلى مستقيم المربعات الصغرى: فتصل إلى $\hat y = 2.2 + 0.6x$، حيث $\mathrm{RSS} = 2.4$ و$\mathrm{TSS} = 6$ و$R^2 = 0.6$، ومجموع البواقي صفر تماماً مرة أخرى.

شاهده يتحرّك. المربّعات الصغرى فرد من عائلة أوسع: حرّك البارامتر وراقب لوغاريتم الإمكان يبلغ ذروته عند موضع المقدّر بالضبط.

جرّبه مباشرةً. لائم نموذجاً خطياً معمّماً بتكرار خطوة المعادلة السوية نفسها حتى التقارب:

قبل الاختبار

كن قادراً على قول ما يضمنه $\partial \mathrm{RSS}/\partial \beta_0 = 0$، ولماذا $R^2$ أداة خاطئة لاختيار النماذج. والاشتقاق الكامل في الانحدار الخطي من المبادئ الأولى.