اختبار التقليم المنظم وإسقاط الطبقة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. لماذا ينتج عن التقليم المنظم سرعات حقيقية بينما لا يحدث التقليم غير المنظم في كثير من الأحيان؟
   • يزيل التقليم المنظم الكتل المتماسكة التي تؤدي في الواقع إلى تقليص الموترات
   • يؤدي التقليم غير المنظم إلى زيادة حجم النموذج
   • يضيف التقليم المنظم المزيد من الطبقات
   • التقليم غير المنظم يعمل فقط على وحدات المعالجة المركزية (CPU).
2. ما هو "إسقاط الطبقة" في سياق المحولات؟
   • تقليل معدل التعلم لكل طبقة
   • حذف كتل المحولات بالكامل لتقليل عمق النموذج
   • إضافة التسرب إلى كل طبقة
   • إعادة ترتيب الطبقات بشكل عشوائي
3. ما الإشارة التي تشير عادةً إلى أنه يمكن إسقاط طبقة المحولات بأمان؟
   • تحتوي الطبقة على أكبر عدد من المعلمات
   • الطبقة هي الأولى في الشبكة
   • الحالات المخفية للإدخال والإخراج للطبقة متشابهة جدًا
   • تستخدم الطبقة معظم الذاكرة
4. ما هي الخطوة التي تستعيد الدقة عادة بعد التقليم المنظم؟
   • زيادة حجم الدفعة فقط
   • إعادة التكميم إلى 16 بت
   • إضافة المزيد من رؤوس الاهتمام
   • جولة قصيرة من الضبط الدقيق أو تقطير المعرفة
5. كيف يتم تصنيف رؤوس الاهتمام الفردية غالبًا للتقليم؟
   • عن طريق زيادة الخسارة عندما يكون الرأس ملثما (حساسية)
   • حسب الترتيب الأبجدي
   • حسب موقعهم في المفردات
   • بعدد الرموز التي رأوها
6. ما هو الاستخدام العملي الرئيسي للتقليم المنظم مع التقطير؟
   • توليد بيانات التدريب تلقائيا
   • استخلاص عائلة من النماذج الأصغر والأسرع من نقطة تفتيش واحدة كبيرة
   • تشفير أوزان النماذج
   • زيادة طول نافذة السياق
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping