اختبار RMSNorm وتطبيع الطبقة المسبقة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما الذي يحذفه RMSNorm مقارنةً بـ LayerNorm القياسي؟
   • يعني الطرح (إعادة توسيط)
   • معلمة المقياس المستفادة
   • الاتصال المتبقي
   • عملية سوفت ماكس
2. ما هي الكمية التي يقسم بها RMSNorm كل متجه تنشيط؟
   • تباينها
   • جذرها يعني المربع
   • الحد الأقصى لقيمته المطلقة
   • معيار L1 الخاص به
3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
   • It guarantees stable training for every model without tuning
   • It removes the residual stream from the block
   • It can make gradients better behaved at initialization and reduce some stability problems
   • It makes all gradients exactly equal across layers
4. في كتلة ما قبل LN، ما هو المسار الذي تتركه طبقة التسوية دون تغيير عمدًا؟
   • أوزان التغذية الأمامية
   • التضمينات الرمزية
   • الناتج سوفت ماكس
   • الاتصال المتبقي (الهوية).
5. ما هي عائلات النماذج الحديثة ذات الوزن المفتوح التي تستخدم RMSNorm افتراضيًا؟
   • اللاما، ميسترال، وكوين
   • أليكس نت وVGG
   • ريس نت والبداية
   • قاعدة BERT والمحول الأصلي
6. ما هو "QK-norm"، وهو تطبيق حديث لـ RMSNorm؟
   • تطبيع سجلات الإخراج النهائية
   • تطبيق RMSNorm على استعلامات الانتباه والمفاتيح للتحكم في نمو السجل
   • تحديد حجم ذاكرة التخزين المؤقت ذات القيمة الرئيسية
   • طريقة لتخطي التطبيع تماما
7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
   • It always sets the mean exactly to zero
   • It replaces each feature with its rank
   • It does not explicitly subtract the mean, though rescaling can change its value
   • It subtracts the maximum activation from every feature
8. How are RMSNorm and Pre-LN related as design choices?
   • They are two names for subtracting the mean
   • RMSNorm always means normalization after the residual
   • Pre-LN specifies the optimizer rather than the block
   • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block