اختبار مرتبط بالدليل · متوسط المستوى
اختبار متوسط الوزن العشوائي
يتحقق من متوسط أوزان SWA، وسلوك معدل التعلم، وإعادة معايرة تطبيع الدفعة، وكيف يختلف النموذج المتوسط الفردي عن المجموعة.
سؤال 1 من 8
ما هو متوسط الوزن العشوائي في الواقع؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو متوسط الوزن العشوائي في الواقع؟
- تم أخذ عينات من أوزان النموذج في نقاط متعددة في وقت متأخر من التدريب
- تنبؤات عدة نماذج مدربة بشكل منفصل
- التدرجات المحسوبة عبر جميع الدفعات الصغيرة
- معدلات التعلم المستخدمة خلال كل عصر
- لماذا تميل SWA إلى تحسين التعميم؟
- إنه يحفظ مجموعة التدريب بشكل أكثر دقة
- فهو يجد حدودًا دنيا أوسع وأكثر استواءً وأكثر قوة في البيانات غير المرئية
- يزيد من عدد المعلمات في النموذج
- إنه يلغي الحاجة إلى مجموعة التحقق من الصحة
- ما هي الخطوة الإضافية التي تتطلبها SWA للشبكات التي تستخدم التسوية المجمعة؟
- إعادة تدريب الشبكة من الصفر
- مضاعفة حجم الدفعة
- تمريرة أمامية إضافية لإعادة حساب إحصائيات تشغيل BN
- إزالة كافة طبقات التسرب
- ما هو سلوك معدل التعلم الذي يتم استخدامه عادةً خلال مرحلة متوسط SWA؟
- انخفض معدل التعلم إلى الصفر بالضبط
- معدل التعلم واحد لتحقيق الاستقرار
- لا يوجد معدل تعلم على الإطلاق حيث تم تجميد التدريب
- معدل تعلم ثابت أو دوري ومرتفع نسبيًا
- كيف يمكن مقارنة تكلفة الاستدلال لـ SWA بمجموعة تقليدية من نماذج N؟
- يكلف نموذجًا واحدًا تقريبًا، لأن النتيجة هي مجموعة واحدة من الأوزان
- إنها أغلى ثمناً بـ N مرات
- إنه مطابق لتشغيل نماذج N
- لا يمكن استخدامه للاستدلال
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress