اختبار مرتبط بالدليل · صعب المستوى
دفعة التطبيع مسابقة
التحقق من إحصائيات الدُفعة، والمقياس المتقارب والتحول، ومتوسطات التشغيل، وعدم استقرار الدُفعة الصغيرة، وكيفية اختلاف BatchNorm عن LayerNorm.
سؤال 1 من 8
ما الذي يؤدي إلى تطبيع الدفعة؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يؤدي إلى تطبيع الدفعة؟
- المدخلات إلى الطبقة، عبر الأمثلة الموجودة في الدفعة الصغيرة الحالية
- تسميات الإخراج النهائية للشبكة
- جدول معدل التعلم مع مرور الوقت
- حجم مجموعة بيانات التدريب
- لماذا تتضمن تسوية الدُفعات معلمات قابلة للتعلم غاما وبيتا؟
- لزيادة حجم مجموعة البيانات
- للسماح بقياس الشبكة وتغيير القيم الطبيعية، مع الحفاظ على القوة التمثيلية
- لإسقاط الخلايا العصبية بشكل عشوائي أثناء التدريب
- لحساب دالة الخسارة
- ما هي الفائدة العملية التي يتم الاستشهاد بها بشكل شائع لتطبيع الدُفعات؟
- أنه يلغي الحاجة إلى أي بيانات التدريب
- إنه يضمن أن النموذج لا يمكن أن يفرط في التجهيز
- فهو يسمح بمعدلات تعلم أعلى وتقارب أسرع وأكثر استقرارًا
- يلغي الحاجة إلى وظيفة التنشيط
- في وقت الاستدلال (التنبؤ بالبيانات الجديدة)، ما هي الإحصائيات التي تستخدمها تسوية الدُفعات؟
- المتوسط والتباين للمدخل الفردي الحالي فقط
- إحصائيات تم إنشاؤها بشكل عشوائي في كل مرة
- إحصائيات مجموعة الاختبار محسوبة مقدما
- المتوسطات الجارية للمتوسط والتباين المتراكمة أثناء التدريب
- لماذا يمكن أن تتصرف عملية تطبيع الدُفعات بشكل سيئ مع أحجام الدُفعات الصغيرة جدًا؟
- تصبح إحصائيات الدُفعات تقديرات صاخبة وغير موثوقة للتوزيع الحقيقي
- الدُفعات الصغيرة تجعل النموذج كبيرًا جدًا بحيث لا يمكن احتواؤه في الذاكرة
- يقوم بتعطيل وظائف التنشيط
- تدفع الدفعات الصغيرة استخدام تسوية L1
- ما هي تقنية التسوية الأكثر استخدامًا في معماريات المحولات كبديل للتطبيع الدفعي؟
- التطبيع التسرب
- تطبيع الطبقة
- تطبيع L2 للخسارة
- قطع التدرج
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function