Language Models are Few-Shot Learners

ملخّص

يصف GPT-3 ويبيّن أن نموذج لغة بمفكِّك ترميز وحده وبحجم كافٍ يستطيع أداء مهام جديدة من حفنة أمثلة تُقدَّم في مطالبته، بلا أي تحديث تدرّجي.

لماذا تهمّ

أثبت أن المقياس وحده يغيّر ما يستطيعه النموذج، وقدّم التعلّم في السياق بديلاً عن الضبط الدقيق. ويحدّد راشكا هذه الورقة بوصفها التي تصف نموذج GPT-3 ذا مفكِّك الترميز وحده، الذي ألهم نماذج اللغة الكبيرة الحديثة ويصلح قالباً لبناء واحد من الصفر.