الموسوعة

مرجع مختصر ومترابط. يرتبط كل مدخل بالمفاهيم ذات الصلة والمقالات التي تتعمّق أكثر.

تصفّح حسب الموضوع

ا

آلية تتيح لكل موضع في متتالية أن ينتبه إلى كل موضع آخر، فيُحسب كل مخرج مجموعًا موزونًا لقيم تأتي أوزانها من تشابه الاستعلامات والمفاتيح.

الوصفة ذات المرحلتين: تدريب نموذج أولًا على متن عام كبير، ثم تكييفه لمهمة محددة بمجموعة بيانات موسومة أصغر بكثير.

عملية تقسيم النص إلى الوحدات المنفصلة التي يعمل عليها نموذج اللغة فعلًا، وهي عادةً أجزاء كلمات لا كلمات كاملة.

معمارية عصبية مبنية على طبقات مكدّسة من الانتباه الذاتي والتغذية الأمامية، حلّت محلّ التكرارية معيارًا لنمذجة المتتاليات.