ما الذي تخفيه الدقّة
عند معدّل أساس 0.5٪ يفوز الكاشف الخامل في الدقّة، وتعلن ROC مقدار 0.9468 لنموذج أوّل مئة إنذار منه كاذبة بنسبة 64٪، والدقّة@k هي الرقم الوحيد الذي يصف الطابور الذي على أحدهم معالجته.
عشرون ألف حدث. مئة منها شذوذ. ابنِ كاشفاً يجيب «عاديّ» عن كلّ شيء.
دقّته 99.50٪.
هذه هي المشكلة كلّها في سطر واحد، وكلّ عادة قياس موروثة من التصنيف المتوازن يجب أن تُراجَع في ضوئها.
درجتان لكاشف واحد
خذ الآن كاشفاً يعمل فعلاً: يرتّب الشذوذ فوق الأحداث العادية، بالتداخل الذي لأيّ مسجِّل حقيقيّ. قيّمه بطريقتين.
| المقياس | القيمة |
|---|---|
| المساحة تحت ROC | 0.9468 |
| متوسّط الدقّة (المساحة تحت PR) | 0.3245 |
| ما يسجّله كاشف عشوائيّ على الثانية | 0.0050 |
الرقمان محسوبان بصحّة من الترتيب نفسه. ويختلفان لأنّهما يقسمان على شيئين مختلفين.
فـمعدّل الإيجابيات الكاذبة يقسم على 19900 حدث عاديّ. وألف إنذار كاذب يزحزحه خمس نقاط مئوية، فيبقى منحنى ROC قرب الزاوية وتُقرأ المساحة كأنّها نموذج ممتاز.
أمّا الدقّة فتقسم على عدد الإنذارات. وألف إنذار كاذب ليست فيها خطأ تقريب؛ بل هي الطابور كلّه.
فالسؤال الذي يجيب عنه المقياس أهمّ من قيمته. فـROC يجيب عن «كم يرتّب هذا الشذوذ فوق العاديّ»، وهي خاصّية في الكاشف. والدقّة تجيب عن «أيّ نسبة ممّا يُعرَض عليّ حقيقيّ»، وهو ما يعيشه من هو في المناوبة.
الرقم الذي يصف الطابور
لا تخبر أيّ من المساحتين أحداً بعدد ما ينبغي النظر فيه. أمّا الدقّة@k فتخبر، لأنّها تثبّت طول الطابور أوّلاً:
| تفحص | منها حقيقيّ | الدقّة | الاستدعاء |
|---|---|---|---|
| أعلى 50 | 26 | 52٪ | 26٪ |
| أعلى 100 | 36 | 36٪ | 36٪ |
| أعلى 500 | 67 | 13.4٪ | 67٪ |
عند أعلى مئة، يفحص أحدهم 100 عنصر ليجد 36. أي قرابة إنذارين كاذبين لكلّ عثور حقيقيّ، وهذه هي الحالة الجيّدة، من كاشف تقول ROC عنه 0.9468.
هذا هو الرقم الذي يُتفاوَض عليه، لأنّه يتحوّل مباشرةً إلى عدد موظّفين. فمحلّل يستطيع فحص أربعين عنصراً في اليوم يختار صفّاً من هذا الجدول، والصفّ يحدّد نسبة الشذوذ التي تمسكها المؤسّسة. والعتبة المختارة دون النظر إلى تلك الطاقة تنتج إمّا طابوراً مهمَلاً وإمّا وهم تغطية.
الشكل أدناه يحسب المقياسين من نموذج التسجيل لا من سحبة واحدة، وهذا يشحذ التمرين أعلاه. فـ ROC لا «تكاد لا تتحرّك» حين تصير الشواذّ أكثر عشر مرات؛ بل لا تتحرّك البتّة، لأنها دالّة في توزيعَي الدرجات لا غير. أما الدقّة المتوسّطة فتتضاعف وزيادة. واللوحة الثانية تحوّل طاقة المراجعة إلى الرقمين اللذين يقرّران ما تراه المؤسسة فعلًا.
تفاعلي: ترتيب واحد ومقياسان متعارضان
كلاهما محسوب بدقّة من النموذج، لا من سحبة واحدة.
- مساحة ROC
- 0.9552
- الدقّة المتوسّطة
- 0.3326
- ما يسجّله كاشف عشوائي
- 0.0050
- دقّة الكاشف الصامت
- 99.5%
عند نسبة تلوّث 0.5%، يكون الكاشف الذي يجيب «سليم» عن كل شيء دقيقًا بنسبة 99.5%، وتلك هي المشكلة كلّها في رقم واحد. أما الكاشف العامل فيسجّل 0.9552 على ROC و0.3326 على الدقّة المتوسّطة، من الترتيب نفسه. حرّك النسبة: لا تتحرّك ROC البتّة، لأنها تقيس حُسن ترتيب الشاذّ فوق السليم، وذاك لا شأن له بعددها. أما الدقّة المتوسّطة فتتحرّك كثيرًا، لأن الدقّة تقسم على عدد الإنذارات.
كيف يُعرَض الكاشف
ثلاثة أمور، وثالثها هو الغائب عادةً:
- معدّل الأساس للبيانات التي قيس عليها، لأنّ كلّ رقم آخر يتوقّف عليه
- الدقّة والاستدعاء عند k معلن، لا مساحةً وحدها
- طاقة الفحص التي يفترضها ذلك k، لأنّ الكاشف لا يساوي إلّا الطابور الذي يعالجه أحدهم فعلاً
فقول «ROC 0.95» ليس ادّعاءً يستطيع أحد التصرّف بناءً عليه. أمّا «عند أربعين فحصاً في اليوم نمسك ربع الحوادث، وثلاثة من كلّ ثمانية ممّا نعرضه عليك ضجيج» فادّعاء كذلك.
ما الذي يمهّد له هذا
افترض هذا الدرس كاشفاً وقاسه. والدرس التالي يسأل من أين تأتي الدرجة، فيجد أنّ العائلات الثلاث الكبرى لا تتّفق حتّى على معنى «شاذّ»، بما يكفي لأن تقع إحداها تحت الصدفة.
المراجع والقراءات الإضافية
- Charu C. Aggarwal, Recommender Systems: The Textbook, Springer, 2016· مكتبة مراجع Kudos AI
- Kevin P. Murphy, Probabilistic Machine Learning: An Introduction, MIT Press (Adaptive Computation and Machine Learning), 2022المصدر ↗
تُذكر الأعمال المحمية بحقوق النشر للمرجعية فقط ولا تُستضاف هنا؛ يرجى الرجوع إلى الناشر للوصول إليها.
افتح المسار كاملًا
هذا الدرس الأول مجاني. سجّل لتخوض اختبار الإتقان وتكسب نقاط الخبرة وتفتح جميع الوحدات، مع مزيد من الأمثلة التفاعلية القابلة للتشغيل.