فرط الملاءمة

يُلائَم النموذج على عيّنة، لكنه يُحكَم عليه ببيانات لم يرها قط. وفرط الملاءمة هو ما يحدث حين يعامل سمات عارضة لتلك العيّنة بعينها - ضجيج القياس، وخصوصيات المشاهدات التي صادف سحبها - كأنها بنية حقيقية. فيواصل خطأ التدريب هبوطه بينما تتدهور القدرة على التعميم بصمت.

والمرونة هي الآلية. فالنموذج المرن بما يكفي يستطيع المرور تماماً بكل نقطة تدريب؛ ومنحنى مُمرَّر بها جميعاً سيكون خطؤه التدريبي صفراً وقيمته التنبّؤية معدومة. وكلما زادت سَعة النموذج قياساً بكمية البيانات التي تقيّده، زاد ما يستطيع امتصاصه من ضجيج العيّنة.

ولنمط الإخفاق هذا صورة معكوسة. فالنموذج الصلب أكثر مما ينبغي، كمستقيم مُلائَم على علاقة منحنية فعلاً، لا يستطيع تمثيل النمط الحقيقي مهما رأى من بيانات. وذلك نقص الملاءمة، ولا تصلحه زيادة البيانات. واختيار تعقيد النموذج هو فعل الملاحة بين هذين الإخفاقين، وهو بالضبط مقايضة التحيّز والتباين.

ولأن خطأ التدريب تقدير متحيّز ومتفائل للأداء المستقبلي، يستلزم كشفُ فرط الملاءمة بياناتٍ لم يُلائَم عليها النموذج. وذلك غرض مجموعة الاختبار المحجوزة، وغرض التحقّق المتقاطع حين تكون البيانات أشحّ من أن يُتنازَل عن عيّنة كبيرة منها.

لنفترض توليد عشر نقاط من علاقة تربيعية لطيفة، مع قليل من ضجيج القياس العشوائي. لائم مستقيماً فسيفوته الانحناء: ويبقى خطأ التدريب وخطأ الاختبار مرتفعين معاً. وذلك نقص ملاءمة.

والآن لائم كثير حدود من الدرجة التاسعة. لديه من الحرية ما يكفي للمرور تماماً بالنقاط العشر، فيهبط خطأ التدريب إلى الصفر. لكنه بين تلك النقاط وخارجها يتأرجح بعنف، لأن تلك التأرجحات مُلائَمة على ضجيج لا على إشارة. وخطؤه الاختباري أسوأ بكثير من خطأ المستقيم.

أما الملاءمة التربيعية، المطابقة للعملية التي ولّدت البيانات فعلاً، فخطؤها التدريبي صغير وخطؤها الاختباري صغير بالقدر نفسه. والدرس أن أفضل نموذج هو ما يطابق تعقيدُه البنيةَ في البيانات، لا ما يلائم عيّنة التدريب أوثق ملاءمة.