الانحدار الخطي من المبادئ الأولى

الانحدار الخطي قديم وبسيط، ولا يزال أول ما ينبغي تجربته. وهو أيضاً أوضح موضع لرؤية النمط الذي تتّبعه كل طريقة موجَّهة أخرى: اكتب مقياساً لمدى سوء ملاءمة النموذج، ثم اختر البارامترات التي تصغّره. وهنا يمكن إجراء ذلك التصغير بدقة، في صورة مغلقة، بتفاضل تملكه بالفعل.

أ. النموذج

مع متنبّئ واحد، نفترض

$$Y \approx \beta_0 + \beta_1 X ,$$

حيث $\beta_0$ هو المقطع و$\beta_1$ هو الميل. وهما معاً معاملات النموذج. ويعطي تقديرهما من البيانات $\hat\beta_0$ و$\hat\beta_1$، والتنبّؤات

$$\hat y_i = \hat\beta_0 + \hat\beta_1 x_i .$$

والباقي رقم $i$ هو $e_i = y_i - \hat y_i$، أي الفجوة بين ما رصدناه وما تنبّأنا به.

ب. ما معنى «أفضل ملاءمة»

نحتاج إلى رقم واحد يقيس مدى سوء ملاءمة مستقيم مرشّح. والاختيار المعياري هو مجموع مربّعات البواقي:

$$\mathrm{RSS} = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\big(y_i - \beta_0 - \beta_1 x_i\big)^2 .$$

يفعل التربيع شيئين: يجعل الانحرافات الموجبة والسالبة متساوية في الوزن، ويعاقب انحرافاً كبيراً واحداً أشدّ من عدة انحرافات صغيرة. وهو أيضاً قابل للاشتقاق في كل مكان، وهذا ما يتيح الحلّ المغلق أدناه.

تختار المربّعات الصغرى $\hat\beta_0, \hat\beta_1$ اللذين يصغّران RSS.

ج. اشتقاق المعاملات

RSS دالة ملساء في متغيّرين، فيقع صغراها حيث تنعدم المشتقّتان الجزئيتان معاً.

بالنسبة إلى المقطع:

$$\frac{\partial\,\mathrm{RSS}}{\partial \beta_0} = \sum_{i=1}^n 2\big(y_i - \beta_0 - \beta_1 x_i\big)(-1) = 0 \;\Longrightarrow\; \sum_{i=1}^n \big(y_i - \beta_0 - \beta_1 x_i\big) = 0 .$$

وبالقسمة على $n$ نحصل على $\bar y - \beta_0 - \beta_1 \bar x = 0$، ومن ثم

$$\hat\beta_0 = \bar y - \hat\beta_1 \bar x .$$

وينتج عن ذلك أمران فوراً: مجموع البواقي صفر، والمستقيم المُلائَم يمرّ دائماً بالنقطة $(\bar x, \bar y)$.

بالنسبة إلى الميل:

$$\frac{\partial\,\mathrm{RSS}}{\partial \beta_1} = \sum_{i=1}^n 2\big(y_i - \beta_0 - \beta_1 x_i\big)(-x_i) = 0 .$$

وبالتعويض بـ $\beta_0 = \bar y - \beta_1\bar x$ وإعادة الترتيب ينتج

$$\hat\beta_1 = \frac{\sum_{i=1}^n (x_i - \bar x)(y_i - \bar y)}{\sum_{i=1}^n (x_i - \bar x)^2} .$$

البسط هو التغاير العيّني لـ $x$ و$y$ (حتى ثابت)، والمقام هو التباين العيّني لـ $x$. فالميل إذاً هو مقدار تحرّك $x$ و$y$ معاً، مقيساً بمقدار تحرّك $x$ وحده - وهو بالضبط ما ينبغي أن يكون عليه الميل.

د. ملاءمة كاملة محلولة

خمس مشاهدات:

الخطوة 1 - المتوسطات.

$$\bar x = \frac{1+2+3+4+5}{5} = 3, \qquad \bar y = \frac{2+4+5+4+5}{5} = 4 .$$

الخطوة 2 - جداءات الانحرافات.

الخطوة 3 - المعاملات.

$$\hat\beta_1 = \frac{6}{10} = 0.6 = \tfrac{3}{5}, \qquad \hat\beta_0 = 4 - 0.6 \times 3 = 4 - 1.8 = 2.2 = \tfrac{11}{5} .$$

والمستقيم المُلائَم هو

$$\hat y = 2.2 + 0.6\,x .$$

الخطوة 4 - القيم المُلائَمة والبواقي.

مجموع البواقي صفر تماماً، كما وعد الاشتقاق، ويمرّ المستقيم بالنقطة $(3, 4) = (\bar x, \bar y)$ - تحقّق من الصف 3.

$$\mathrm{RSS} = 2.40 .$$

هـ. ما جودة الملاءمة؟

RSS وحدها غير قابلة للتفسير: فهي تتوقّف على الوحدات وحجم العيّنة. قارنها بدلاً من ذلك بـمجموع المربّعات الكلي، أي خطأ أفضل تنبّؤ ثابت ممكن $\bar y$:

$$\mathrm{TSS} = \sum (y_i - \bar y)^2 = 4 + 0 + 1 + 0 + 1 = 6 .$$

ومن ثم

$$R^2 = 1 - \frac{\mathrm{RSS}}{\mathrm{TSS}} = 1 - \frac{2.4}{6} = 0.6 .$$

يفسّر المتنبّئ 60٪ من تغيّر $y$، ولا يفسّر الـ40٪ الباقية. ويقع $R^2$ في $[0,1]$ لنموذج مُلائَم بمقطع، وهو عديم الوحدة، وهذا ما يجعله قابلاً للمقارنة عبر المسائل.

لا يتناقص $R^2$ أبداً عند إضافة متنبّئ، ولو كان عمود ضجيج خالص، لأن الحرية الإضافية لا يمكنها إلا أن تخفض RSS. ومن ثم لا يصلح للمفاضلة بين نماذج بأحجام مختلفة - وذلك ما يخدمه التحقّق المتقاطع.

و. التحقّق من كل رقم

يطبع تشغيله الجدول تماماً - ميل $0.6$، ومقطع $2.2$، وبواقٍ مجموعها $0$ (بدقة الآلة)، و$\mathrm{RSS} = 2.4$، و$\mathrm{TSS} = 6.0$، و$R^2 = 0.6$ - إضافةً إلى sklearn: 2.2 0.6 0.6، وهو تأكيد مستقل.

ز. ما الذي يفترضه النموذج

تعيد المربّعات الصغرى دائماً إجابةً ما. أما كونها ذات معنى فيتوقّف على فرضيات يجدر ذكرها صراحةً:

• الخطية. العلاقة مستقيمة فعلاً. فإن انحنت، كانت الملاءمة متحيّزة مهما جمعت من بيانات - وهو نمط الإخفاق في مقايضة التحيّز والتباين.
• استقلال الأخطاء. البواقي المترابطة (السلاسل الزمنية، البيانات العنقودية) تُبقي المعاملات قابلة للاستخدام لكنها تجعل الأخطاء المعيارية أصغر بكثير مما ينبغي.
• ثبات تباين الخطأ. إن نما التشتّت مع $x$، أفرطت الملاءمة في ترجيح المنطقة المشوّشة.
• النقاط المؤثّرة. مع $n = 5$، تحرّك قيمة شاذّة واحدة المستقيمَ تحريكاً ملموساً - كما أظهرت الطيّة 1 في LOOCV، إذ نقل حذف $(1,2)$ التنبّؤ هناك من $2.8$ إلى $4.0$، أي إزاحة بمقدار $1.2$.

ورسم البواقي مقابل القيم المُلائَمة يفحص الفرضيتين الوسطيين أسرع من أي اختبار صوري.

الخلاصات الأساسية

• تصغّر المربّعات الصغرى RSS، وتصفير المشتقّتين الجزئيتين يعطي معاملات في صورة مغلقة - بلا حاجة إلى تكرار.
• $\hat\beta_1$ هو تغاير $x$ و$y$ مقسوماً على تباين $x$؛ و$\hat\beta_0$ يفرض مرور المستقيم بالنقطة $(\bar x, \bar y)$.
• يضمن الاشتقاق أن مجموع البواقي صفر.
• ملاءمتنا المحلولة: $\hat y = 2.2 + 0.6x$، و$\mathrm{RSS} = 2.4$، و$\mathrm{TSS} = 6$، و$R^2 = 0.6$.
• لا يتناقص $R^2$ أبداً عند إضافة متنبّئات، فلا يصلح لمقارنة نماذج بأحجام مختلفة.

ما التالي

الخطأ التربيعي هدف خاطئ حين تكون الاستجابة فئةً لا عدداً - فالمستقيم المُلائَم سيتنبّأ عن طيب خاطر باحتمال قدره $1.4$. وتكييف النموذج الخطي للتصنيف هو موضوع الانحدار اللوجستي والتصنيف.