What Is a Neural Network?
Layers as parameterised transformations, the forward pass, and why depth and non-linearity are not optional: a proof that no single linear layer can compute XOR, and a two-layer network that does, worked entirely by hand.
شبكة أمامية التغذية في NumPy مع انتشار خلفي مُشتقّ يدويًا، مُتحقَّق منه بالتدرّجات العددية، فيُبرهَن حساب التفاضل بدل الوثوق به.
مُدرِك متعدّد الطبقات مكتوب باستخدام NumPy وحدها، مصمَّم لجعل الانتشار الخلفي ملموسًا. تُشتقّ التمريرة الأمامية والخسارة والتدرّجات التحليلية لكل طبقة يدويًا ثم تُنفَّذ مباشرة، والانضباط المركزي في المشروع هو تدقيق التدرّجات: يُقارَن كل تدرّج تحليلي بتقدير الفروق المنتهية، ولا يُقبل التنفيذ إلا حين يهبط الخطأ النسبي إلى رتبة 1e-7. هذا التدقيق هو ما يحوّل الانتشار الخلفي من صيغة رآها القارئ إلى صيغة تحقّق منها. ثم تُدرَّب الشبكة على XOR - المختارة لأن أي طبقة خطية منفردة لا تستطيع تمثيلها، ما يجعل الحاجة إلى طبقة مخفيّة حقيقةً مُبرهنة لا مجرّد ادّعاء. التنفيذ جارٍ ولم يُنشر بعد أي مستودع للمصدر.
Layers as parameterised transformations, the forward pass, and why depth and non-linearity are not optional: a proof that no single linear layer can compute XOR, and a two-layer network that does, worked entirely by hand.
How a neural network learns: the loss as a function of weights, gradient descent, and backpropagation as the chain rule applied backwards, with every partial derivative of a small network computed by hand and checked against autograd.