قراءة 7 دقيقةبناء نموذج لغة
معمارية المحوّل
تركيب GPT من الانتباه: إسقاطات متعدّدة الرؤوس، وتسوية الطبقة محلولةً يدوياً، ولماذا تنقذ وصلات الاختصار التدرّج، وتوسّع شبكة التغذية الأمامية أربع مرات، وعدّ بارامترات يعيد إنتاج GPT-2 الصغير عند 124 مليوناً بالضبط.
الذكاء الاصطناعي التوليديالتعلّم العميقمعالجة اللغات الطبيعية