التدريب المسبق والضبط الدقيق

في نهاية معمارية المحوّل كان لدينا 124 مليون بارامتر مهيّأة عشوائياً ومرتّبة في الشكل الصحيح ولا تتنبّأ بشيء. والانتقال من هناك إلى نموذج يكتب نثراً سلساً، ثم إلى نموذج يفعل ما يُطلب منه، يستلزم مرحلتَي تدريب متمايزتين ببيانات وكلفة وغاية مختلفة.

تغطّي هذه المقالة كلتيهما، والقياسَ الذي يخبرك إن كانت الأولى تعمل.

أ. مشكلة الوسم، وكيف تذوب

يحتاج التعلّم الموجَّه إلى وسوم، والوسوم مكلفة. وراشكا صريح في أن هذا هو القيد المعتاد لنماذج تعلّم الآلة التقليدية والشبكات العميقة المدرَّبة وفق النموذج الموجَّه الاعتيادي - وأن مرحلة التدريب المسبق لنموذج اللغة الكبير تفلت منه تماماً.

والمفرّ هو التعلّم ذاتي الإشراف، حيث يولّد النموذج وسومه بنفسه من بيانات الدخل. وفي اللغة تكون الحيلة التنبّؤ بالكلمة التالية: استخدم الكلمة التالية في جملة أو وثيقة وسماً يُفترض بالنموذج التنبّؤ به. ويسمّي راشكا ذلك ضرباً من الوسم الذاتي، والنتيجة هي الجزء المهم - فلأن الوسوم تُنشأ أثناء العمل، تصير مجموعات نصية ضخمة غير موسومة صالحة بيانات تدريب.

وتكون المدوّنة عندئذ نصاً ببساطة: نصوص الإنترنت، والكتب، وويكيبيديا، والمقالات البحثية، بحجم تريليونات الكلمات.

الأمر اللافت أن هذا ينجح أصلاً. يلاحظ راشكا أنه مدهش حقاً أن تكتسب نماذج GPT ما تكتسبه من قدرات من مهمة بسيطة كالتنبّؤ بالكلمة التالية. فليس في الهدف ذكر للنحو ولا للوقائع ولا للاستدلال. لكن يتبيّن أنها نافعة أداتياً لتخمين ما يأتي تالياً، فتُتعلَّم أثراً جانبياً.

ويوفّر كل موضع إشارة تدريب دفعةً واحدة. فلأن الانتباه مُقنَع سببياً، يُنتج مرور أمامي واحد على متتالية بطول 1,024 تنبّؤاً عند المواضع الـ1,024 جميعاً، كلٌّ منها مُشرَف عليه بالوحدة التي تلت فعلاً.

ب. مفكِّك الترميز وحده

يسجّل راشكا تبسيطاً بنيوياً يستحق الذكر صراحةً: فمقارنةً بالمحوّل الأصلي، تكون معمارية GPT العامة بسيطة نسبياً - إذ هي في جوهرها جزء مفكِّك الترميز فقط، بلا مُرمِّز. فلا مكوّن منفصل لترميز متتالية مصدر، لأنه لا توجد متتالية مصدر. فالنموذج يقرأ بادئةً ويمدّها، وهذا كل ما يتطلّبه التنبّؤ بالكلمة التالية.

ج. تقييم تنبّؤ

يُخرج النموذج توزيعاً احتمالياً على المفردات كلها عند كل موضع. ونحتاج إلى رقم يقول ما جودة ذلك التوزيع.

والكمية الطبيعية هي الاحتمال الذي أسنده النموذج إلى الوحدة التي وقعت فعلاً. ويبني راشكا الخسارة من هذا بالضبط، على خطوات: خذ احتمال النموذج لكل وحدة هدف، ثم خذ اللوغاريتمات، ثم متوسّطها، ثم اعكس الإشارة. ويلاحظ أن الهدف ليس رفع متوسط لوغاريتم الاحتمال إلى $0$ بل خفض سالبه إلى $0$، وأن تلك القيمة المعكوسة هي ما يسمّيه التعلّم العميق خسارة الإنتروبيا المتقاطعة.

محلولةً على ثلاثة تنبّؤات. لنفترض أن النموذج أسند الاحتمالات $0.10$ و$0.60$ و$0.30$ إلى الوحدات الثلاث التي ظهرت فعلاً.

$$\ln 0.10 = -2.3026,\qquad \ln 0.60 = -0.5108,\qquad \ln 0.30 = -1.2040 .$$

ومتوسّطها

$$\frac{-2.3026 - 0.5108 - 1.2040}{3} = -1.3391 ,$$

فتكون خسارة الإنتروبيا المتقاطعة $+1.3391$.

واللوغاريتمات هي ما يجعل هذا يتصرّف تصرّفاً صحيحاً. فاحتمال $0.001$ على الوحدة الحقيقية يسهم بـ$\ln 0.001 = -6.9$، بينما يسهم $0.01$ بـ$-4.6$ - فكون الخطأ عشرة أضعاف يكلّف عقوبة جمعية ثابتة، وتُعاقَب الأخطاء الواثقة بلا حدّ.

ويلاحظ راشكا أيضاً أن «الإنتروبيا المتقاطعة» و«سالب متوسط لوغاريتم الاحتمال» يُستعملان بالتبادل عملياً، وأن دالة cross_entropy في PyTorch تؤدّي هذه الخطوات كلها دفعةً واحدة.

د. الحيرة، وفحص سلامة

الإنتروبيا المتقاطعة بوحدات لوغاريتمية يصعب استشعارها. أما الحيرة فهي أُسّها، $\exp(\text{cross entropy})$، ويصفها راشكا بأنها طريقة أيسر تفسيراً لفهم عدم يقين النموذج في التنبّؤ بالوحدة التالية - إذ تعني الحيرة الأدنى تنبّؤات أقرب إلى التوزيع الفعلي.

والتفسير: الحيرة تقريباً كم خياراً متساوي الترجيح يختار النموذج بينها فعلياً. فخسارتنا البالغة $1.3391$ تعطي $e^{1.3391} \approx 3.82$ - أي أن النموذج بقدر حيرة من يخمّن بانتظام بين أربعة احتمالات.

ويتيح هذا فحصاً حقيقياً لنموذج غير مدرَّب. فشبكة راشكا غير المدرَّبة تعطي خسارة $10.7940$. والنموذج الذي لم يتعلّم شيئاً ينبغي أن يكون قريباً من التوزيع المنتظم على المفردات، والتوزيع المنتظم على $V$ نتيجة إنتروبيته المتقاطعة $\ln V$ بالضبط:

$$\ln 50257 = 10.8249 .$$

والقيمة المقيسة $10.7940$ تقع أدنى بـ$0.03$، وأخذ الأُسّ يعطي حيرة نحو $48{,}700$ مقابل مفردات من $50{,}257$. فالنموذج غير المدرَّب، كما هو متوقّع، يخمّن بانتظام تقريباً بين كل وحدة يعرفها.

وهذا يمنحك أرضية للقياس عليها. فأي نموذج لغة يجب أن يتفوّق على $\ln V$، وإلا فهو لم يتعلّم شيئاً على الإطلاق - والفجوة بين خسارة النموذج وذلك السقف قياس مباشر لمقدار البنية التي استخلصها من النص.

هـ. ماذا ينتج التدريب المسبق، وماذا لا ينتج

الناتج نموذج أساس، وراشكا دقيق في وصف قدرته: يعلّم التدريب المسبق النموذج توليد كلمة في كل مرة، فيصير نموذج اللغة المدرَّب مسبقاً قادراً على إكمال النص - إتمام الجمل أو كتابة فقرات انطلاقاً من مقطع - إضافةً إلى قدرات التعلّم من أمثلة قليلة.

وهو دقيق بالقدر نفسه في وصف الحدّ. فنماذج اللغة المدرَّبة مسبقاً كثيراً ما تتعثّر أمام التعليمات المحدّدة، بأمثلة مثل «صحّح نحو هذا النص» أو «حوّل هذا النص إلى المبني للمجهول».

والسبب ينبع من الهدف. فقد تعلّم النموذج أي نص يتبع عادةً نصاً آخر. فبإعطائه «صحّح نحو هذا النص: …»، يكون التكملة المعقولة في الواقع تعليمةَ تمرين أخرى، أو قائمة مطالبات مماثلة - إذ يميل هذا النوع من النص إلى الظهور قرب أمثاله. وإنتاج الجملة المصحّحة تكملة من تكملات كثيرة، ولم يخصّها التدريب المسبق بشيء يجعلها المطلوبة.

و. الضبط الدقيق

يبدأ الضبط الدقيق من الأوزان المدرَّبة مسبقاً ويواصل التدريب على مجموعة بيانات موسومة لغرض محدّد. ويميّز راشكا نوعين:

• الضبط الدقيق للتصنيف - تكييف النموذج لإسناد تسميات، ومثاله المحلول مصنِّف بريد مزعج. تُبقى كومة المحوّل ويُستبدَل رأس الخرج برأس بحجم عدد الفئات.
• الضبط الدقيق بالتعليمات، ويسمّى أيضاً الضبط الدقيق الموجَّه بالتعليمات - تدريب على أزواج من التعليمات والاستجابات المرغوبة كي يتعلّم النموذج اتّباع التعليمات وتوليد الاستجابة المطلوبة. ويعدّه إحدى التقنيات الرئيسية وراء روبوتات المحادثة والمساعدين الشخصيين والأنظمة الحوارية.

والاقتصاديات هي بيت القصيد. فالتدريب المسبق يستهلك تريليونات الكلمات غير الموسومة؛ بينما يستخدم الضبط الدقيق بالتعليمات مجموعة موسومة ضئيلة نسبياً. فكل ما يعرفه النموذج تقريباً تعلّمه في المرحلة الأولى - أما الثانية فتعلّمه غالباً أي تكملاته المعقولة الكثيرة هي المطلوبة.

والتدرّج الكامل كما يعرضه راشكا:

$$\text{raw unlabelled text} \;\rightarrow\; \text{pretrained foundation model} \;\rightarrow\; \text{fine-tuned model}$$

مع وصول إكمال النص والقدرة على التعلّم من أمثلة قليلة عند المرحلة الوسطى، والتصنيف أو التلخيص أو الترجمة أو سلوك المساعد عند الأخيرة.

الخلاصات الأساسية

• يذيب التعلّم ذاتي الإشراف مشكلة الوسم: فالكلمة التالية هي الوسم، فيصير النص غير الموسوم إشرافاً وتصير تريليونات الكلمات صالحة للاستخدام.
• GPT هو مفكِّك الترميز وحده - بلا مُرمِّز، إذ لا توجد متتالية مصدر لترميزها.
• الإنتروبيا المتقاطعة هي سالب متوسط لوغاريتم احتمالات الوحدات الحقيقية؛ ومثالنا المحلول يعطي $1.3391$ من الاحتمالات $0.10, 0.60, 0.30$.
• الحيرة هي $\exp(\text{cross entropy})$ - أي تقريباً عدد الخيارات التي يختار النموذج بينها فعلياً.
• يسجّل النموذج غير المدرَّب نحو $\ln V$: فقيمة راشكا $10.7940$ مقابل $\ln 50257 = 10.8249$، بحيرة قريبة من حجم المفردات. وتلك هي الأرضية التي يجب أن يتفوّق عليها أي نموذج حقيقي.
• يعطي التدريب المسبق إكمال النص لا الطاعة؛ فالنماذج المدرَّبة مسبقاً تخفق روتينياً في تعليمات مثل «صحّح نحو هذا النص».
• يوفّر الضبط الدقيق على مجموعة موسومة صغيرة ما لا يستطيعه التدريب المسبق - إما رأس تصنيف وإما سلوك اتّباع تعليمات.

ما التالي

يكتمل بهذا الطريق من المحارف الخام إلى نموذج يتّبع التعليمات: فقد حوّل التقطيع إلى وحدات والتضمينات النصَّ إلى تنسورات، وبنى الانتباه والانتباه الذاتي ومعمارية المحوّل النموذجَ، ودرّبته هذه المقالة. وللتقليد الآخر في الذكاء الآلي - الذي يبحث ويستدلّ بدل التنبّؤ بالوحدة التالية - انظر البحث التنافسي والمينيماكس.