تخطّي إلى المحتوى
Kudos AI

الإحصاء

التقدير والاستدلال، وانضباط القول كم يمكن الوثوق برقم. إنها الأسس تحت كلّ نموذج يدّعي أنه تعلّم شيئاً.

75 عناصر

المسارات (12)

أسس الاحتمالات والإحصاء

الاستدلال الدقيق في ظل عدم اليقين، ثم الوصول إلى المسألة المركزية في التعلّم: الفصل بين الخطأ الذي يمكن إزالته والخطأ الذي لا يمكن.

تعلّم الآلة المُوجَّه

اشتقاق طرق التعلّم المُوجَّه الأساسية بدل الاكتفاء باستدعائها: المربعات الصغرى، والانحدار اللوجستي، وعقوبات الانكماش، وتجميعات الأشجار.

التعلّم غير المُشرَف عليه

إيجاد البنية في بيانات لا استجابة فيها تُتنبَّأ، ومواجهة اللازم بصراحة: فبلا y لا خطأ محجوزًا، ووجب الدفاع عن كل اختيار بوجه آخر.

تجاوز الخطّية

أبقِ المربّعات الصغرى وغيّر ما تنحدر عليه: دوالّ الأساس الثابتة تشتري الانحناء، والقيود تشتري الملاسة، والجزاء يشتري منحنًى يختار مرونته بنفسه.

تعلّم النماذج الاحتمالية

حين تكون البيانات كاملة، يكون تعلّم نموذج احتمالي عدًّا - ومشتقة لوغاريتم الإمكان تتكفل بالباقي. وحين تكون بعض المتغيرات خفية فلا شيء يُعدّ، والعلاج أن تخمّن التكرارات وتعيد الملاءمة وتكرّر حتى يتوقف الإمكان عن الارتفاع.

مقارنة طرائق التصنيف

ثمة مصنّف لا تستطيع أي طريقة التفوق عليه، وهو يحتاج الجواب ليُبنى. وكل ما عداه - أقرب الجيران، والتحليل التمييزي، والانحدار اللوجستي - تخمينٌ مختلف لما كان سيفعله، والتخمينات تخفق في اتجاهات مختلفة.

الاستدلال الإحصائي

ما تستطيع العيّنة قوله عن المجتمع الذي أتت منه وما لا تستطيع: كيف يخطئ المقدّر، وما الذي يعد به مجال الثقة فعلاً، وما القيمة p - مع المواضع الثلاثة التي يُقرأ فيها كلّ من هذه عادةً على أنّه أقوى ممّا هو.

الاستدلال السببي

لماذا قد تحمل المقارنة بين المعالَجين وغير المعالَجين الإشارة الخاطئة، وما الذي تشتريه العشوائية فعلاً، والقاعدة التي تحدّد على أيّ المتغيّرات نعدّل - بما فيها تلك التي تزيد الجواب سوءاً.

السلاسل الزمنية

ما الذي ينكسر حين لا تكون المشاهدات مستقلّة: انحدار يجد علاقة بين سلسلتين لا رابط بينهما، وأخطاء معيارية خاطئة بعامل معلوم، وتقسيم تحقّق يعلن نموذجاً أفضل بأكثر من خمس مرّات ممّا هو عليه.

التجريب واختبارات A/B

ما الذي تعلنه تجربة على الإنترنت إن كانت أصغر ممّا ينبغي، أو رُوقبت أكثر ممّا ينبغي، أو قُرئت على متريكات أكثر ممّا ينبغي: أثر منتفخ 2.4 ضعفاً، ومعدّل إيجابيات كاذبة 19٪ بدل 5٪، وشريحة فائزة في قرابة نصف التجارب التي لم يقع فيها شيء.

أنظمة التوصية

إزاحتان ملاءَمتان تقدّمان ثلثي مكسب الدقّة قبل تعلّم أيّ عامل كامن، ونموذج أسوأ 1.28 مرّة عند المستخدمين الذين أخبروه أقلّ، والبقعة العمياء التي تنفتح حين لا يرى النظام إلّا تقييمات ما اختار عرضه.

كشف الشذوذ

كاشف لا يُطلِق إنذاراً أبداً يسجّل دقّة 99.5٪، وROC قدره 0.9468 يخفي طابور إنذارات كاذباً بنسبة 64٪، والمسافة عن المتوسّط تقع تحت الصدفة حين يجلس الشذوذ في المركز، وعشرون شاذّاً متجمّعاً يخفي بعضها بعضاً عن المنهج المصمَّم لإيجادها.

الموسوعة (28)

فرط الملاءمة

حين يتعلّم النموذج ضجيج بيانات تدريبه وخصوصياتها بدل النمط الكامن، فيؤدّي أداءً جيداً في التدريب ورديئاً على بيانات جديدة.

مقايضة التحيّز والتباين

تفكيك خطأ التنبّؤ المتوقّع لنموذج إلى تحيّز وتباين وضجيج غير قابل للتقليص، والتوتّر الذي يجعل خفض أحد الأولين يرفع الآخر عادةً.

التحقّق المتقاطع

طريقة إعادة معاينة تقدّر خطأ اختبار النموذج بملاءمته مراراً على جزء من البيانات وتقييمه على الجزء المحجوز.

التنظيم

أي تقنية تقيّد التعقيد الفعّال لنموذج بغية خفض التباين وتحسين التعميم، وعادةً بمعاقبة قيم البارامترات الكبيرة.

مبرهنة بايز

قاعدة لتحديث احتمال فرضية على ضوء قرينة جديدة، بعكس احتمال شرطي.

تقدير الأرجحية العظمى

طريقة لملاءمة نموذج تختار قيم المعاملات التي تجعل البيانات المرصودة أكثر ما تكون احتمالًا.

الانحدار الخطي

نموذج يتنبأ باستجابة عددية بوصفها مجموعًا موزونًا للمتنبِّئات، ويُلاءَم بتصغير الخطأ التربيعي.

الانحدار اللوجستي

نموذج تصنيف يتنبأ باحتمال فئة عبر تمرير تركيبة خطية من المتنبِّئات خلال الدالة اللوجستية.

التعبئة والغابات العشوائية

طرق تجميعية تخفض التباين بأخذ متوسط نماذج كثيرة مُلاءَمة على عيّنات بوتستراب، وتزيد الغابات العشوائية عليها بفكّ ارتباط الأشجار عبر تقييد السمات المتاحة عند كل انقسام.

الشريحة (السبلاين)

كثير حدود مجزّأ موصول عند نقاط مختارة تُسمّى العقد، ومقيَّد بحيث تبقى الدالة ومشتقاتها الدنيا متصلة هناك، فيعطي مرونة موضعية دون السلوك الجامح لكثير حدود عالي الدرجة.

التجميع بالمتوسطات k

خوارزمية غير مُوجَّهة تقسّم المشاهدات إلى k مجموعة بالتناوب بين إسناد النقاط إلى أقرب مركز وإعادة حساب المراكز.

التوقع–التعظيم

طريقة تكرارية للتقدير بالإمكان الأعظم حين تكون بعض المتغيرات غير مرصودة: تحسب التوزيع البعدي للمتغيرات الخفية في ظل المعالم الحالية، ثم تعيد ملاءمة المعالم كما لو أن تلك التكرارات المتوقَّعة قد رُصدت فعلًا.

أقرب k جار

مصنّف غير معلمي يتنبأ بصنف نقطة بتصويت الأغلبية بين مشاهدات التدريب الـ k الأقرب إليها.

التحليل التمييزي الخطي

مصنّف توليدي ينمذج كل صنف بتوزيع غاوسي ثم يقلب تلك النماذج بمبرهنة بايز؛ فمصفوفة تغاير واحدة مشتركة بين كل الأصناف تعطي حدًّا فاصلًا خطيًا، وواحدة لكل صنف تعطي حدًّا تربيعيًا.

منحنى ROC

رسم لمعدل الإيجابيات الصحيحة لمصنّف في مقابل معدل إيجابياته الكاذبة بينما تكتسح عتبة القرار مداها كله، فيلخّص كل مقايضة متاحة بين نوعَي الخطأ.

العنقدة الهرميّة

طريقة غير مُشرَف عليها تبني شجرةً من عناقيد متداخلة بدمج أقلّ المجموعتين تباينًا مرارًا، بحيث يعطي قطع الشجرة عند أي ارتفاع عنقدةً.

تحليل المركّبات الرئيسية

أسلوب يعيد التعبير عن البيانات في إحداثيات جديدة غير مترابطة مرتَّبة بحسب مقدار التباين الذي تفسّره كل منها، فيتيح خفض الأبعاد بالاحتفاظ بأوائلها فقط.

القيمة الاحتمالية p

احتمال أن نرصد بيانات لا تقلّ تطرّفاً عن البيانات التي بين أيدينا، محسوباً بافتراض صحّة الفرضية الصفرية. تقيس كم تكون العيّنة غير مألوفة في عالم ينعدم فيه الأثر، ولا تقيس سوى ذلك.

مجال الثقة

مجال يُحسب من البيانات بإجراء يحتوي القيمة الحقيقية، إذا كُرّر على عيّنات كثيرة، بنسبة معلنة من المرّات. والنسبة المعلنة خاصيّة للإجراء، لا لأيّ مجال بعينه ينتجه.

القوّة الإحصائية

احتمال أن يرفض الاختبار الفرضية الصفرية حين يكون بديل محدّد صحيحاً. أي فرصة كشف أثر موجود فعلاً، وهي مثبَّتة بالتصميم قبل جمع أيّ بيانات.

الخلط

متغيّر يؤثّر في العلاج والنتيجة معاً، فتقيس المقارنة بين المعالَجين وغير المعالَجين الفرقَ بين المجموعتين بقدر ما تقيس أثر العلاج.

الرسم السببي

رسم لعلاقات السبب والأثر المفترَضة على هيئة سهام بين متغيّرات، يُستعمل لتحديد أيّ المتغيّرات يجب التعديل عليها وأيّها يجب ألّا يُعدَّل عليه - وهو سؤال لا تجيب عنه البيانات وحدها.

الاستقرارية

خاصّية سلسلة لا يتوقّف سلوكها الإحصائي على لحظة النظر إليها: المتوسّط والتباين وبنية الارتباط هي نفسها في كلّ نافذة. تفترضها كلّ الطرق الكلاسيكية تقريباً، وتفتقر إليها أكثر السلاسل الواقعية.

الارتباط الذاتي

ارتباط السلسلة بنسخة مزاحة منها، يقيس مدّة بقاء أثر المشاهدة. وهو البنية التي تجعل بيانات السلاسل الزمنية مفيدة، والسبب في أنّ الأخطاء المعيارية المعتادة لا تنطبق عليها.

المقارنات المتعدّدة

تضخّم الإيجابيات الكاذبة الذي يقع كلّما سُمح لأكثر من اختبار أو متريك أو شريحة أو نقطة توقّف بإنتاج العنوان. فكلّ فرصة إضافية ترفع احتمال أن يعبر شيء العتبة بالحظّ وحده.

التحليل المصفوفي

نموذج يفسّر جدول تفاعلات متفرّقاً بوصفه جداءً لمصفوفتين صغيرتين، فيعطي كلّ مستخدم وكلّ عنصر متّجهاً قصيراً من سمات متعلَّمة يتنبّأ جداؤها القياسيّ بالخانات الغائبة.

الدقّة والاستدعاء

نسبتان تفصلان ما تُخفيه الإصابة: الدقّة نسبة الموجبات المتنبَّأ بها التي هي حقيقيّة، والاستدعاء نسبة الموجبات الحقيقيّة التي وُجدت.

كشف الشذوذ

إيجاد المشاهدات القليلة التي لم تنتجها العملية التي أنتجت البقيّة. والصعوبة المميِّزة ليست في الخوارزمية بل في معدّل الأساس: فعند 0.5٪ شذوذاً يكون كاشف لا يُطلِق إنذاراً أبداً دقيقاً بنسبة 99.5٪، وأكثر المقاييس المعيارية ترث ذلك الرقم بدل أن تقيس مهارة.

المقالات (21)

الاتّجاه الذي يتغيّر حين تغيّر وحدة القياس

اثنا عشر شخصًا، وقياسان لكلٍّ منهم، وثلاث مكوّنات رئيسة أولى مختلفة: بالمليمترات يكون الجواب الطول وحده تقريبًا، وبالأمتار الوزن وحده تقريبًا، وبالسنتيمترات مزيجًا متوازنًا - مع بقاء الارتباط عند 0.9500 في الحالات الثلاث. وما يقوله ذلك عمّا تعظّمه المكوّنات الرئيسة، ولماذا قد تكون نسبة تباين مفسَّر تبلغ 99.999% قولًا عن الأمتار لا عن الأشخاص، وما الذي تختاره المعيرة فعلًا.

متغيّر الضبط الذي يخترع علاقة

سببان مستقلّان وأثرٌ مشترك. اضبط الأثر فيكتسب السببان ارتباطًا يساوي -1 بالضبط: انحدار A على B يعطي معاملًا قدره +0.0030، وإضافة الأثر المشترك ضابطًا تحوّله إلى -1.0000. واختيار العيّنة يفعل الشيء نفسه على نحو خفيّ، ولهذا لا تصلح قاعدة «اضبط كل ما قسته».

مجالُ الـ95% الذي يغطّي 81% من الوقت

لمجال الثقة المدرسي لنسبةٍ ما تغطيةٌ مضبوطة تُحسب بجمعٍ على العيّنات الممكنة وعددها n+1، وعند n = 30 وp = 0.10 تساوي 0.8085 لا 0.95. والتغطية لا تتحسّن باطّراد مع n، وفي سياق الأحداث النادرة قد تهبط إلى 0.0392. وبديلان من سطر واحد يصلحان ذلك.

درجةٌ تخسر أمام عدم الفعل

نموذج الجيران الخمسة الأقرب يسجّل 0.9983 في التحقّق المتقاطع العشوائي بخمسة أثلاث على مشية عشوائيّة، وهي سلسلة زياداتها غير قابلة للتنبّؤ بالبناء. وبتقييمه تقدّمًا في الزمن يسجّل 0.6559 بجذر متوسّط خطأ تربيعي أكبر 12.44 مرّة، ويخسر أمام إبقاء آخر قيمة مرصودة كما هي. فالقسمة، لا النموذج، هي التي أنتجت الرقم الأوّل.

الكاشف الذي لا يُطلِق إنذاراً أبداً دقيق بنسبة 99.5٪

عند معدّل أساس واقعيّ يفوز الكاشف الخامل في الدقّة، وROC قدره 0.9468 يخفي طابور إنذارات كاذباً بنسبة 64٪، والمسافة عن المتوسّط تقع تحت الصدفة حين يجلس الشذوذ في المركز، وعشرون شاذّاً متجمّعاً يخفي بعضها بعضاً عن المنهج المصمَّم لإيجادها.

العلاج الذي ينفع الجميع ويضرّ المعدّل

علاج يرفع الشفاء خمس نقاط بالضبط في كلّ مجموعة فرعية بينما يبدو أنّه يخفضه إجمالاً، ولماذا يجعل مزيد من البيانات تلك الخلاصة أوثق لا أصحّ، وما الذي تشتريه العشوائية ولا يستطيعه التعديل، والحالة التي يصنع فيها ضبط متغيّرٍ ارتباطاً من لا شيء.

الانحدار الذي يجد علاقة غير موجودة

سلسلتان مولَّدتان من أعداد عشوائية منفصلة تخرجان مرتبطتين معنوياً في 82.8٪ من الحالات، وخطأ معياري على بيانات متعلّقة أضيق ممّا ينبغي بعامل قابل للحساب قدره 2.4، وتقسيم التحقّق المعتاد يعلن متنبّئاً أفضل بأكثر من خمس مرّات ممّا هو عليه. ثلاثة إخفاقات، وسبب واحد، والفحوص التي تمسك كلّاً منها.

النموذج الذي يختار بيانات تدريبه بنفسه

إزاحتان ملاءَمتان تقدّمان 66٪ من مكسب الدقّة في نظام التوصية قبل تعلّم أيّ عامل كامن، والخطأ أسوأ 1.28 مرّة عند المستخدمين الأقلّ كلاماً، ولا يبلغ إلّا 30٪ من الكتالوغ قائمة العشرة الأولى لأيّ أحد بلا حدّ صريح للشيوع في النموذج، وبعد ستّ جولات من بيانات منتقاة ذاتياً يصير النظام أسوأ 1.14 مرّة حيث كفّ عن النظر بالضبط.

التجربة التي كانت ستفوز على أيّ حال

تجربة بـ2000 مستخدم لكلّ ذراع تعرض آثاراً أكبر 2.4 مرّة ممّا ينبغي. وتجربة A/A تُراجَع عشر مرّات تخرج معنويةً 19٪ من الوقت. وعشرون متريكاً صفرياً مستقلّاً تنتج فائزاً 64٪ من الوقت، واثنتا عشرة شريحة صفرية 46٪. أربعة أرقام، وسبب واحد، والقرارات التي يجب اتّخاذها قبل وصول البيانات.

ما تستطيع العيّنة أن تقوله لك وما لا تستطيع

المقدّرات بوصفها متغيّرات عشوائية لها توزيعاتها الخاصّة، والحالة التي يكون فيها المقدّر غير المتحيّز هو الأسوأ، وما يعد به مجال الثقة فعلاً والمجال المعتاد الذي يسلّم 87% حيث يعلن 95%، وما تكون القيمة p احتمالاً له - وكلّ رقم محسوب بدقّة أو بمحاكاة ببذرة معلنة.

تعلّم الأعداد في نموذج احتمالي

من أين تأتي أعداد الشبكة البايزية أو التوزيع الغاوسي فعلًا: وصفة الإمكان الأعظم ذات الخطوات الثلاث مطبَّقة على معالم منفصلة ثم متصلة، وتوزيع بيتا القبلي الذي يصلح ما تفعله بحدث لم يُشاهد قط، وبايز الساذج والتكرار الصفري الواحد الذي يدمّره، وخوارزمية EM للحالة التي يتعذّر فيها العدّ أصلًا - وكل رقم محسوب لا مُدّعى.

مقارنة المصنّفات، وما تخفيه الدقة

مصنّف بايز الذي لا يُهزم وأرضية الخطأ التي يخلّفها، وأقرب k جار محاكاةً غير معلمية وk مفتاحًا للمرونة، والتحليل التمييزي ولماذا يفرض التغاير المشترك خطًا مستقيمًا، ومصفوفة الالتباس والعتبات ومنحنى ROC التي يخفيها رقم دقة واحد - وكل عدد محسوب على بيانات محاكاة يُعرف فيها الأمثل.

تجاوز الخطّية: الشرائح والنماذج الجمعية

كيف تلائم علاقات منحنية دون أن تغادر المربّعات الصغرى: دوالّ الأساس، والقيود التي تحوّل كثير حدود مجزّأً مكسورًا إلى شريحة، والعمود الإضافي الواحد لكل عقدة الذي يفرضها مجّانًا، وجزاء الخشونة الذي يدع المنحنى يختار مرونته بنفسه.

التعلّم غير المُشرَف عليه: بنية بلا وسوم

ما الذي يتغيّر حين لا توجد استجابة تُتنبَّأ: المكوّنات الرئيسة بوصفها اتّجاه التباين الأقصى، وخوارزميّة المتوسّطات K والنهايات المحلّية التي تستقرّ عندها، والعنقدة الهرميّة والوصل الذي يقرّر الجواب - ولماذا لا يمكن التحقّق من أيٍّ من الاختيارات المطلوبة كما يُتحقَّق من مصنّف.

ما هو التعلّم الإحصائي؟

الإطار الكامن وراء كل نموذج تنبّؤي: تقدير دالة مجهولة f من البيانات، والفصل بين الخطأ القابل للتقليص وغير القابل له، ولماذا يشدّ التنبّؤ والاستدلال في اتجاهين متعاكسين.

مقايضة التحيّز والتباين

التفكيك الدقيق لخطأ الاختبار المتوقّع إلى مربّع التحيّز والتباين والضجيج غير القابل للتقليص، مبرهَناً عددياً بمحاكاة من 2000 تكرار تُقاس فيها الحدود الثلاثة كلٌّ على حدة ويُتحقّق من أن مجموعها يطابق.

التحقّق المتقاطع وإعادة المعاينة

لماذا يكون خطأ التدريب تقديراً متحيّزاً لخطأ الاختبار، وكيف تعالج ذلك مجموعة التحقّق وطريقة ترك واحد وطريقة الطيّات k، مع حساب LOOCV على خمس مشاهدات مشاهدةً مشاهدة.

الانحدار الخطي من المبادئ الأولى

اشتقاق معاملات المربّعات الصغرى باشتقاق مجموع مربّعات البواقي، ثم تنفيذ ملاءمة كاملة على خمس مشاهدات يدوياً: المعاملات والقيم المُلائَمة والبواقي وRSS ومعامل التحديد، وكلٌّ منها متحقَّق منه عددياً.

الانحدار اللوجستي والتصنيف

لماذا لا يستطيع المستقيم نمذجة احتمال، وكيف تعالج الدالة اللوجستية ذلك، وما معنى المعاملات بلغة لوغاريتم الأرجحية، مع خطوة صعود تدرّجي وملاءمة متقاربة محسوبتين ومتحقَّق منهما عددياً.

التنظيم: ريدج ولاسو

إضافة عقوبة على حجم المعاملات لمبادلة قليل من التحيّز بخفض كبير في التباين، ولماذا تصفّر عقوبة L1 معاملات بعينها تماماً بينما تكتفي L2 بتقليصها، مع ملاءمة الاثنتين عددياً.

أشجار القرار والتجميعات

كيف تبني القسمة الثنائية العَودية شجرةً، ولماذا يتفوّق دليل جيني على معدّل الخطأ كمعيار للقسمة، وكيف يحوّل التعبئة والغابات العشوائية متعلّماً عالي التباين إلى متعلّم قوي، مع حساب قسمة واحدة كاملاً.

الأدوات (7)

حاسبة المعدّل الأساسي

أدخل نسبة الانتشار والحساسية ومعدّل الإيجابيات الكاذبة لترى ما تساويه النتيجة الإيجابية فعلًا - كاحتمال، وكعدد أشخاص من كل عشرة آلاف.

مستكشف مقاييس التصنيف

حرّك عتبة القرار عبر مجتمع غير متوازن وراقب الدقة والاستدعاء وF1 ونقطة ROC تتحرك معها - بما في ذلك الحالة التي تبدو فيها الصحّة ممتازة بينما النموذج عديم الفائدة.

محاكي فترات الثقة

اسحب ثلاثين عينة، وكوّن فترة ثقة من كل منها، ثم عُدّ كم منها يغطي القيمة الحقيقية - أوضح طريقة لإدراك أن مستوى الثقة يصف الإجراء، لا أي فترة بعينها.

مستكشف الانحياز والتباين

غيّر تعقيد النموذج وحجم العينة لترى خطأ التدريب يتناقص باطّراد بينما ينعطف خطأ الاختبار صعودًا، مُفكَّكًا إلى انحياز وتباين وضوضاء غير قابلة للاختزال.

مستكشف التوزيعات

غيّر معاملات التوزيعات التي تتكرّر في هذه المادة وراقب استجابة الشكل والمتوسط والتشتّت.

مستكشف الأرجحية العظمى

حرّك معاملًا على امتداد منحنى اللوغاريتم الأرجحي لعيّنة ثابتة وشاهد التوزيع المُطابَق يتبعه، مع وقوع الذروة تمامًا عند مُقدِّر الأرجحية العظمى.

مخطّط الدراسة

اختر هدفاً - الأسس أو الطرق الموجَّهة أو الذكاء الاصطناعي الحديث - واحصل على خطة هذا الموقع المرتّبة لبلوغه: أي مسار تسلك في كل مرحلة، وماذا تقرأ إلى جانبه، وكم تستغرق الدروس.

مجموعات البيانات (3)

البحث (2)

المشاريع (2)

مواضيع ذات صلة