اختبار تطبيع الطبقة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. عبر ما الذي يحسب تطبيع الطبقة متوسطه وتباينه؟
   • عبر ميزات مثال واحد
   • عبر جميع الأمثلة في الدفعة الصغيرة
   • عبر جميع الأوزان في الشبكة
   • عبر فترات تدريبية متعددة
2. لماذا يفضل تطبيع الطبقة على تطبيع الدفعة في المحولات؟
   • يتطلب حجم دفعة كبيرة جدًا
   • وهو مستقل عن حجم الدفعة ويتعامل مع تسلسلات متغيرة الطول
   • إنه يلغي الحاجة إلى أي معلمات قابلة للتعلم
   • إنه يعمل فقط أثناء الاستدلال
3. ما الذي تسمح به معلمات جاما وبيتا القابلة للتعلم لـ LayerNorm؟
   • اختر معدل التعلم
   • اضبط عدد الطبقات
   • قم بإعادة قياس وتبديل المخرجات التي تمت تسويتها حتى تتمكن الشبكة من استعادة التمثيلات المفيدة
   • إزالة الحاجة إلى وظيفة التنشيط
4. كيف يختلف RMSNorm عن LayerNorm القياسي؟
   • يتم تطبيعه عبر الدفعة بدلاً من ذلك
   • لا يستخدم أي معلمات ولا تقسيم
   • إنه يعمل فقط على الصور
   • فهو يتخطى متوسط الطرح ويقسم فقط على الجذر المتوسط التربيعي
5. ما هي المشكلة التي يساعد تطبيع الطبقة بشكل أساسي في حلها في الشبكات العميقة؟
   • تنجرف التنشيطات إلى مستويات مختلفة جدًا، مما يزعزع استقرار التدريب
   • نفاد مساحة القرص
   • اختيار مجموعة البيانات الصحيحة
   • تشفير أوزان النموذج
6. لماذا يتم استخدام الموضع "المعياري" غالبًا في المحولات العميقة جدًا؟
   • يجعل النموذج أصغر
   • التطبيع قبل كل طبقة فرعية يجعل تدريب الأكوام العميقة أسهل وأكثر استقرارًا
   • يزيل آلية الانتباه
   • يضاعف معدل التعلم تلقائيًا
7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
   • To make the batch size larger
   • To replace the learnable scale
   • To avoid division by zero and improve numerical stability
   • To compute the sequence length
8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
   • It restores the original unnormalized inputs exactly
   • It applies a softmax over features
   • It changes the statistics to be batch-dependent
   • It leaves the normalized values unchanged after the mean-and-variance scaling