معمارية المحوّل

بنت مقالة الانتباه والانتباه الذاتي الآليةَ التي تتيح لكل موضع استشارة كل موضع آخر. لكن الآلية ليست نموذجاً. فبين الانتباه وGPT عامل تقع أربعة مكوّنات أخرى، يحلّ كلٌّ منها مشكلة ملموسة تنشأ حين تكدّس طبقات الانتباه تكديساً عميقاً، إضافةً إلى مسألة كيفية توصيلها.

تركّب هذه المقالة الكتلة، وتحلّ تسوية الطبقة يدوياً، وتنتهي بعدّ بارامترات GPT-2 الصغير - فتصل إلى الرقم المنشور.

أ. ما يجب أن تحويه الكتلة

يعدّد راشكا القطع اللازمة لبناء معمارية GPT: هيكل GPT، وتسوية الطبقة، ودالة التنشيط GELU، وشبكة التغذية الأمامية، ووصلات الاختصار، وكتلة المحوّل التي تجمعها، ثم المعمارية النهائية. فالانتباه هو الآلية داخل الكتلة؛ والبقية هي ما يجعل كومةً عميقة منها قابلة للتدريب.

ب. الانتباه متعدّد الرؤوس

عملية الانتباه الواحدة تنتج ترجيحاً واحداً على المواضع، يعبّر عن مفهوم واحد للصلة. أما الانتباه متعدّد الرؤوس فيشغّل عدة عمليات بالتوازي، لكلٍّ منها $W_q, W_k, W_v$ خاصة بها، ثم يسلسل النتائج ويُسقطها.

ولا تنال كل رأس العرض كاملاً. ففي GPT-2 الصغير بُعد التضمين 768 والرؤوس 12، فتعمل كل رأس في

$$d_{\text{head}} = \frac{768}{12} = 64$$

بُعداً. واثنتا عشرة رأساً ذات 64 بُعداً تتسلسل لتعود 768. فالكلفة إذاً كلفة رأس واحدة بـ768 بُعداً، بينما يكسب النموذج اثني عشر نمط صلة مستقلاً بدل واحد - إذ تستطيع الرؤوس المختلفة الالتفات إلى علاقات مختلفة دون تنازع على ترجيح واحد.

ج. تسوية الطبقة

تكون الأكوام العميقة غير مستقرة في التدريب حين ينجرف مقياس التنشيطات بين الطبقات. وتعيد تسوية الطبقة قياس كل متجه إلى متوسط صفري وتباين واحد:

$$\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}, \qquad \mu = \frac{1}{n}\sum_i x_i, \qquad \sigma^2 = \frac{1}{n}\sum_i (x_i - \mu)^2 ,$$

مع $\epsilon$ صغيرة تحرس من القسمة على صفر. ويتبع ذلك بارامترا قياس وإزاحة مُتعلَّمان، فتستطيع الطبقة نقض التسوية إن تبيّن نفع ذلك.

محلولةً، على متجه بثمانية أبعاد. خذ

$$\mathbf{x} = \begin{bmatrix}2 & 4 & 4 & 4 & 5 & 5 & 7 & 9\end{bmatrix} .$$

المجموع $40$، فـ$\mu = 40/8 = 5$. والانحرافات المربّعة $9, 1, 1, 1, 0, 0, 4, 16$، ومجموعها $32$، فـ$\sigma^2 = 32/8 = 4$ و$\sigma = 2$. وبطرح المتوسط والقسمة على الانحراف المعياري:

$$\hat{\mathbf{x}} = \begin{bmatrix}-1.5 & -0.5 & -0.5 & -0.5 & 0 & 0 & 1 & 2\end{bmatrix} .$$

وللناتج متوسط $0$ وتباين $1$، كما هو مطلوب.

عبر السمات، لا عبر الدفعة. يرسم راشكا التباين مع تسوية الدفعة صراحةً: فتسوية الدفعة تسوّي عبر بُعد الدفعة، بينما تسوّي تسوية الطبقة عبر بُعد السمات. ويهمّ التمييز في نماذج اللغة، حيث تختلف المتتاليات في الدفعة طولاً ومحتوى - إذ تعامل تسوية الطبقة كل موضع على حدة فلا تبالي بما سواه في الدفعة.

وموضع التسوية قرار تصميمي له تاريخه. ويلاحظ راشكا أن Post-LayerNorm، المستخدَمة في المحوّل الأصلي، تطبّق التسوية بعد طبقتَي الانتباه والتغذية الأمامية الفرعيتين، بينما تطبّقها Pre-LayerNorm، المعتمدة في GPT-2 ونماذج اللغة الأحدث، قبلهما - وهو ما قد يفضي إلى ديناميات تدريب أكثر استقراراً.

د. وصلات الاختصار

صياغة راشكا مباشرة: اقتُرحت وصلات الاختصار - وتسمّى أيضاً وصلات التخطّي أو البواقي - أصلاً لشبكات الرؤية الحاسوبية العميقة (وتحديداً الشبكات المتبقّية) للتخفيف من تلاشي التدرّجات. والعملية جمع: يُضاف دخل الطبقة إلى خرجها، فينشأ مسار بديل يلتفّ حول الطبقة.

$$\mathbf{y} = \mathbf{x} + F(\mathbf{x})$$

والأثر قابل للقياس، وقد قاسه راشكا. ففي شبكة من خمس طبقات يورد متوسط التدرّج المطلق عند كل طبقة مع الاختصارات وبدونها:

فبلا اختصارات يبلغ التدرّج الواصل إلى الطبقة 1 نحو $0.0002$ - أصغر بثلاث مراتب عشرية منه عند الطبقة 5، فلا تكاد الطبقات الأولى تتعلّم. ومع الاختصارات تبقى التدرّجات متقاربة في كل مكان. والسبب ظاهر في المشتقّة: فاشتقاق $\mathbf{y} = \mathbf{x} + F(\mathbf{x})$ يعطي $1 + F'(\mathbf{x})$، وذلك الـ$1$ مسارٌ يتدفّق عبره التدرّج بلا نقصان مهما صغر $F'$.

هـ. شبكة التغذية الأمامية

بعد أن يخلط الانتباه المعلومات عبر المواضع، تحوّل شبكة التغذية الأمامية كل موضع على حدة. وشكلها مميّز: يصف راشكا المدخلات تتوسّع بمعامل أربعة، من 768 إلى 3,072 قيمة، مع طبقة ثانية تضغط الـ3,072 عائدةً إلى 768.

$$768 \;\xrightarrow{\;\text{expand}\;}\; 3072 \;\xrightarrow{\;\text{GELU}\;}\; 3072 \;\xrightarrow{\;\text{contract}\;}\; 768$$

والتنشيط بينهما GELU لا ReLU الواردة في ما هي الشبكة العصبية؟. ويقابل راشكا بينهما ملاحظاً أن ReLU دالة خطية بالقطع، بينما GELU ملساء - فلها تدرّج غير صفري للمدخلات السالبة بدل صفر ReLU المسطّح، ما يتجنّب نمط إخفاق الوحدات الميتة.

ولاحظ عدم تماثل البارامترات الناتج: إذ تحوي شبكة التغذية الأمامية نحو ضعف بارامترات الانتباه الذي تليه، وهو ما يفاجئ من يظنّ الانتباه هو «المحوّل».

و. عدّ GPT-2 الصغير

يتوسّع راشكا إلى أصغر GPT-2، بـ124 مليون بارامتر، ويضيف تصحيحاً ببليوغرافياً مفيداً: فمع أن التقرير الأصلي ذكر 117 مليوناً، صُحّح ذلك لاحقاً. ويعطي جدول التهيئة العائلةَ كاملة:

مع vocab_size 50,257 وcontext_length 1,024.

ويمكننا التحقّق من الرقم الرئيسي. لكل كتلة، مع $d = 768$:

• الانتباه - أربعة إسقاطات ($W_q, W_k, W_v$، والخرج)، كلٌّ منها $768\times768$ زائد انحياز: $4(768^2 + 768) = 2{,}362{,}368$.
• التغذية الأمامية - $768 \times 3072 + 3072$ للتوسّع، و $3072 \times 768 + 768$ للانكماش: $4{,}722{,}432$.
• تسويتا طبقة - قياس وإزاحة، $768$ لكلٍّ: $4 \times 768 = 3{,}072$.

أي $7{,}087{,}872$ لكل كتلة، و$\times 12$ كتلة تعطي $85{,}054{,}464$. وبعد الكتلة الأخيرة تأتي تسوية طبقة أخرى، هي التسوية النهائية في القسم ز، بقياسها وإزاحتها الخاصّين: $2 \times 768 = 1{,}536$. وبإضافة التضمينات من التقطيع إلى وحدات والتضمينات - تضمين الوحدات $50{,}257 \times 768 = 38{,}597{,}376$ والموضعي $1{,}024 \times 768 = 786{,}432$:

$$85{,}054{,}464 + 1{,}536 + 38{,}597{,}376 + 786{,}432 = 124{,}439{,}808 .$$

124.4 مليون - وهو الرقم المنشور، ويطابق بارامتراً ببارامتر عدد نقطة التفتيش المنشورة لـGPT-2 الصغير. ولا تضيف طبقة الخرج شيئاً، لأن GPT-2 يعيد استخدام أوزان تضمين الوحدات فيها.

أين تسكن البارامترات فعلاً. التضمينات 39.4 مليوناً من الـ124 مليوناً - قرابة الثلث - وهي جدول استرجاع لا حساب. في حين تحوي الكتل الاثنتا عشرة التي تؤدّي العمل كله 85 مليوناً. وتنزاح هذه النسبة انزياحاً حاداً مع المقياس: إذ ينمو emb_dim وn_layers معاً في النماذج الأكبر، فتنمو بارامترات الكتل نمواً تربيعياً تقريباً بينما ينمو تضمين الوحدات نمواً خطياً فقط.

ز. الكتلة مركّبة

بوضع القطع بترتيب Pre-LayerNorm، تكون كل كتلة طبقتين فرعيتين، كلٌّ منهما مسوّاة أولاً وملفوفة في اختصار:

$$\mathbf{x} \leftarrow \mathbf{x} + \operatorname{MultiHeadAttention}(\operatorname{LayerNorm}(\mathbf{x}))$$ $$\mathbf{x} \leftarrow \mathbf{x} + \operatorname{FeedForward}(\operatorname{LayerNorm}(\mathbf{x}))$$

ولا يتغيّر الشكل أبداً: فالكتلة تحوّل تنسوراً بالشكل $(\text{batch},\ \text{sequence},\ 768)$ إلى آخر بالشكل نفسه تماماً. وهذا الثبات هو ما يتيح للكتل أن تُكدَّس - اثنتا عشرة منها لـGPT-2 الصغير، وثمانٍ وأربعون لـGPT-2 XL، بلا أي تغيير بنيوي آخر. والنموذج الكامل هو التضمينات، ثم $N$ كتلة متطابقة، ثم تسوية نهائية وإسقاط إلى حجم المفردات، فيعطي درجة واحدة لكل وحدة للموضع التالي.

ولأن الانتباه في الداخل مُقنَع سببياً، لا يستطيع الموضع $i$ الالتفات إلا إلى المواضع $\le i$، فيُنتج مرور أمامي واحد تنبّؤاً بالوحدة التالية عند كل موضع دفعةً واحدة - وهو بالضبط ما يجعل هدف التدريب في المقالة التالية كفوءاً.

الخلاصات الأساسية

• الانتباه متعدّد الرؤوس يقسّم التضمين على الرؤوس - $768/12 = 64$ لكل رأس في GPT-2 الصغير - فتُتعلَّم أنماط صلة عدة بكلفة رأس واحدة.
• تسوية الطبقة تعيد قياس كل متجه إلى متوسط صفري وتباين واحد عبر بُعد السمات، خلافاً لبُعد الدفعة في تسوية الدفعة.
• استخدم المحوّل الأصلي Post-LayerNorm؛ ويستخدم GPT-2 وما بعده Pre-LayerNorm لتدريب أكثر استقراراً.
• وصلات الاختصار تضيف دخل الطبقة إلى خرجها؛ والمشتقّة الناتجة $1 + F'$ تُبقي التدرّجات حيّة - 0.0002 مقابل 0.22 عند الطبقة 1 في قياس راشكا.
• شبكة التغذية الأمامية توسّع $768 \to 3072 \to 768$ وتحوي نحو ضعف بارامترات الانتباه المجاور لها.
• يعطي عدّ الكتل والتسوية النهائية والتضمينات 124,439,808 بارامتراً لـGPT-2 الصغير، مطابقاً الـ124 مليوناً المنشورة (وقد صُحّحت لاحقاً الـ117 مليوناً في التقرير الأصلي).
• الكتلة تحفظ شكل دخلها، وهذا بالضبط سبب توسّع المعمارية بالتكديس.

ما التالي

لدينا معمارية بـ124 مليون بارامتر مهيّأة عشوائياً، ولا تتنبّأ بشيء. وتحويلها إلى نموذج يكتب نصاً سلساً، ثم إلى نموذج يتّبع التعليمات، هو موضوع التدريب المسبق والضبط الدقيق.