فهم مقايضة التحيّز والتباين
في حالة الخسارة التربيعية، يتفكّك خطأ الاختبار المتوقّع عند نقطة إلى ثلاثة أجزاء جمعية، والتفكيك مطابقة لا تقريب. الأول مربّع التحيّز: كم يبعد متوسط تنبّؤ النموذج، عبر كل مجموعات التدريب التي كان يمكن ملاءمته عليها، عن الحقيقة. والثاني التباين: كم يتحرّك التنبّؤ حين تتغيّر مجموعة التدريب. والثالث الضجيج غير القابل للتقليص الكامن في البيانات.
ويقيس التحيّز الخطأ المنهجي الذي تُدخله فرضيات النموذج. فالنموذج الخطي المطبَّق على علاقة لاخطية فعلاً متحيّز مهما أُعطي من بيانات، لأن أي مستقيم لا يمثّل منحنى. ويقيس التباين عدم الاستقرار. فالنموذج المرن بما يكفي لمطاردة مشاهدات مفردة سينتج ملاءمة مختلفة بوضوح على عيّنة أخرى من المجتمع نفسه.
ويتحرّك الاثنان في اتجاهين متعاكسين مع ازدياد المرونة. فإضافة السَّعة تتيح للنموذج تتبّع الدالة الحقيقية عن كثب، فيهبط التحيّز، وتتيح له في الوقت نفسه تتبّع الضجيج، فيرتفع التباين. ومن ثم يرسم خطأ الاختبار شكل حرف U: يهبط ما دام خفض التحيّز مهيمناً، فيبلغ صغرى، ثم يرتفع حين تتغلّب زيادة التباين. أما خطأ التدريب فيهبط هبوطاً مطّرداً، وهذا بالضبط سبب عدم صلاحيته لاختيار التعقيد.
ويضع الحدّ غير القابل للتقليص أرضية تحت الخطأ المتوقَّع. فحتى النموذج الذي يستعيد الدالة الحقيقية تماماً سيظلّ يخطئ، لأن المشاهدات نفسها تحوي عشوائية. والخطأ المقيس على مجموعة اختبار منتهية يتبدّد على جانبي تلك الأرضية، فلا تكون الدقة المبلَّغ عنها علامةَ تسريب بين بيانات التدريب والتقييم، لا علامةَ نموذج متفوّق، إلا إذا تجاوزت الأرضية بأكثر من ضجيج المعاينة هذا.
كيفية الحساب
E[(y − f̂(x))²] = Bias[f̂(x)]² + Var[f̂(x)] + σ²
حيث
- f̂(x)
- تنبّؤ النموذج عند x، وهو نفسه عشوائي لأن مجموعة التدريب عشوائية
- Bias[f̂(x)]
- E[f̂(x)] − f(x): الفجوة بين متوسط التنبّؤ والحقيقة
- Var[f̂(x)]
- تغيّر التنبّؤ عبر مجموعات التدريب الممكنة
- σ²
- التباين غير القابل للتقليص للضجيج في y
مثال على مقايضة التحيّز والتباين
قابل بين نموذجين متطرّفين على المسألة نفسها. فالنموذج الذي يتجاهل مدخله كلياً ويتنبّأ دائماً بثابت تباينُه صفر، إذ لا تغيّر مجموعةُ تدريب جديدة شيئاً، لكن تحيّزه كبير جداً، إذ لا يستجيب لـx إطلاقاً.
وفي الطرف الآخر، النموذج الذي يستوفي كل نقطة تدريب بالضبط تحيّزُه المتوسط يكاد يكون صفراً لكن تباينه هائل: أعد سحب عيّنة التدريب فيتغيّر شكل الدالة المُلائَمة تماماً، لأنها تتبع الضجيج.
ولا فائدة في أيٍّ منهما. فالنموذج الذي يصغّر خطأ الاختبار يقع بينهما، وموضعه يتوقّف على كمية البيانات المتاحة: فكلما كبرت العيّنة، هبطت كلفةُ التباين للمرونة الإضافية، وانزاحت الأمثلية نحو نماذج أعقد. ولهذا قد تكون فئة نماذج تفرط في الملاءمة على ألف مثال هي الصواب تماماً على مليون.
الأسئلة الشائعة
هل يمكن أن يكون للنموذج تحيّز مرتفع وتباين مرتفع معاً؟
نعم. فالنموذج سيّئ التحديد قد يكون خاطئاً في المتوسط وغير مستقر عبر العيّنات في آنٍ واحد. وهذا يشير عادةً إلى أن فئة النماذج غير مناسبة للمسألة، لا إلى بارامتر يحتاج ضبطاً.
لماذا لا أستطيع ببساطة حساب التحيّز والتباين لنموذجي؟
كلا الحدّين معرَّف بالنسبة إلى الدالة الحقيقية الكامنة وإلى توزيع مجموعات التدريب الممكنة، وليس أيٌّ منهما قابلاً للرصد عملياً. ولهذا تُدار المقايضة بطريق غير مباشر، بتقدير خطأ الاختبار بالتحقّق المتقاطع أو بمجموعة محجوزة.
هل تعني المقايضة أن النماذج المرنة خطرة؟
تعني أن للمرونة كلفةً يجب دفعها ببيانات أو تقييدها بالتنظيم. فمع بيانات كافية أو عقوبة فعّالة على التعقيد، تستطيع النماذج البالغة المرونة بلوغ تحيّز منخفض وتباين مضبوط معاً.
الخلاصة
خطأ أي نموذج المتوقّع هو مربّع التحيّز زائد التباين زائد الضجيج غير القابل للتقليص. ولأن المرونة تخفض الأول وتنفخ الثاني، يكون اختيار النموذج بحثاً عن النقطة التي يصغر عندها مجموعهما، ولا يمكن تحديد تلك النقطة إلا ببيانات محجوزة عن الملاءمة.