فهم التحليل التمييزي الخطي
يقارب التحليل التمييزي التصنيف من الجانب التوليدي. فبدل تقدير احتمال الصنف بمعلومية المتغيرات، يقدّر كيفية توزّع المتغيرات داخل كل صنف، مع مدى شيوع كل صنف، ثم يطبّق مبرهنة بايز ليحوّل ذلك إلى توزيع بعدي. والتوزيع الداخلي المفترض غاوسي، بمتجه متوسط لكل صنف.
وافتراض التغاير هو ما يفصل عضوَي العائلة. فإذا أُعطي كل صنف مصفوفة التغاير نفسها، كان الحدّ التربيعي في الأس متطابقًا عبر الأصناف فيتلاشى عند مقارنة التوزيعات البعدية، فتكون الدالة التمييزية خطية في المتغيرات ويكون الحدّ بين أي صنفين مستوى فائقًا. وذلك هو التحليل التمييزي الخطي. أما ترك تغاير خاص لكل صنف فيُبقي الحدّ التربيعي وينتج حدودًا منحنية: وهو التحليل التمييزي التربيعي.
والمقايضة بين المعالم والمرونة. فمع p متغيرًا وK صنفًا، يكلّف التغاير المشترك مصفوفةً واحدة من p × (p+1)/2 حدًّا؛ وتكلّف التغايرات المنفصلة K منها. وعلى 20 متغيرًا يكون ذلك 210 معالم مقابل 420 لصنفين، وكل واحدة منها يجب أن تُقدَّر من البيانات. ولذلك يفوز التحليل التمييزي التربيعي حين يكون افتراض التغاير المشترك خاطئًا فعلًا وتكون العينة كبيرة، ويخسر حين يكون صحيحًا أو تكون العينة صغيرة.
وبالمقارنة مع الانحدار اللوجستي الذي ينتج صورة الحدّ نفسها، يكمن الفرق فيما يُفترَض وفيما يُدفَع ثمنًا له. فحيث يصحّ الافتراض الغاوسي تقريبًا يكون التحليل التمييزي المقدّرَ الأكفأ؛ وحيث لا يصحّ يكون متحيّزًا على نحو لا يتحيّز به الانحدار اللوجستي. كما يتدهور التحليل التمييزي تدهورًا لطيفًا حين تكون الأصناف حسنة الانفصال - وهي الحال التي تصير فيها تقديرات معاملات الانحدار اللوجستي غير مستقرة وتتباعد.
كيفية الحساب
δₖ(x) = xᵀ Σ⁻¹ μₖ − ½ μₖᵀ Σ⁻¹ μₖ + log πₖ
حيث
- δₖ(x)
- الدرجة التمييزية للصنف k؛ والتنبؤ هو الصنف الأعلى درجةً
- μₖ
- متجه متوسط الصنف k، مقدَّرًا بمتوسط عينة الصنف
- Σ
- مصفوفة التغاير المشتركة بين كل الأصناف، مقدَّرةً بتجميع الانحرافات داخل الأصناف
- πₖ
- الاحتمال القبلي للصنف k، وهو عادةً نسبته المرصودة
مثال على التحليل التمييزي الخطي
صنفان في المستوي، أحدهما متمركز في نقطة الأصل بارتباط +0.75 والآخر متمركز في (1.5, 1.5) بارتباط −0.75. ولا توجد مصفوفة تغاير واحدة تصف كليهما، فيكون الحدّ الأمثل منحنيًا فعلًا، ومعدل خطئه - محسوبًا بمكاملة المزيج - 0.092708.
وبالملاءمة على 200 نقطة تدريب والقياس على 200,000 نقطة اختبار، يبلغ التحليل التمييزي الخطي 0.118955 والتربيعي 0.093480. فتجميع التغايرين يحسب متوسط ارتباط +0.75 مع ارتباط −0.75 فينتج شيئًا قريبًا من المصفوفة الوحدوية لا يصف أيًا من الصنفين؛ أما النسخة التربيعية فتستعيد حدودًا تنحني وتحطّ في حدود 0.0008 من الأرضية.
والحالة العكسية مفيدة بالقدر نفسه. فعلى مسألة ثانية حدّها الحقيقي خطي فعلًا، وبالمتوسط على 400 تشغيلة، تتفوق النسخة الخطية على التربيعية بمقدار 0.028208 عند 20 نقطة تدريب لكن بمقدار 0.000154 فقط عند 2,000. والنموذج التربيعي ليس خاطئًا هناك - فهو يحتوي الخطي - لكنه لا يستطيع تحمّل معالمه الخاصة حتى تكبر العينة.
الأسئلة الشائعة
متى يُفضَّل التحليل التمييزي التربيعي؟
حين تتوفر شواهد على أن للأصناف بنى تغاير مختلفة فعلًا وتكون مجموعة التدريب كبيرة كفايةً لتقدير مصفوفة تغاير لكل صنف. أما مع مشاهدات قليلة نسبةً إلى عدد المتغيرات فتظل نسخة التغاير المشترك الرهان الأفضل عادةً، حتى وإن كانت خاطئة خطأً يسيرًا.
ما علاقته ببايز الساذج؟
كلاهما توليدي وكلاهما يطبّق مبرهنة بايز على كثافات مشروطة بالأصناف. لكن بايز الساذج يفترض استقلال المتغيرات داخل الصنف، وهو ما يعادل مصفوفة تغاير قطرية؛ أما التحليل التمييزي فيقدّر الحدود خارج القطر بدل إلغائها بالافتراض.
هل يقتضي أن تكون المتغيرات غاوسية؟
الاشتقاق يقتضي ذلك، لكن الطريقة صامدة إلى حدّ معقول أمام انحرافات معتدلة، ولا سيّما في صورة التغاير المشترك حيث لا تهمّ إلا العزوم الثانية المجمَّعة. أما المتغيرات الشديدة الالتواء أو المنفصلة بقوة فمشكلة حقيقية، ويستحق التحويل أن يُجرَّب أولًا عادةً.
الخلاصة
ينمذج التحليل التمييزي الأصناف لا الحدّ الفاصل، وافتراض التغاير هو الذي يقرّر الصورة التي يستطيع رسمها. فشارِك تغايرًا واحدًا لتحصل على حدّ خطي وتقدير كفء؛ وأعطِ كل صنف تغايره لتحصل على حدّ منحنٍ ستحتاج عينةً كبيرة لتحمّل كلفته.