اختبار مرتبط بالدليل · متوسط المستوى
اختبار تسوس الوزن وتنظيم المستوى الثاني
يختبر عقوبات L2، الانكماش نحو الصفر، التكافؤ مع SGD، فصل AdamW، التمقييس التكيفي، وقوة الانحلال في التدريب.
سؤال 1 من 8
ما الذي يضيفه تنظيم L2 إلى وظيفة الخسارة؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يضيفه تنظيم L2 إلى وظيفة الخسارة؟
- عدد الطبقات في الشبكة
- عقوبة على معدل التعلم
- عدد الأمثلة التدريبية
- عقوبة تتناسب مع مجموع الأوزان المربعة
- ما هي المشكلة الرئيسية التي يساعد تسوس الوزن على الوقاية منها؟
- بطء تحميل البيانات
- التجهيز الزائد، حيث يحفظ النموذج الضوضاء في بيانات التدريب
- أعطال الأجهزة
- تسميات غير صحيحة
- في أي اتجاه يدفع اضمحلال الوزن أوزان النموذج؟
- نحو اللانهاية
- نحو أكبر وزن
- نحو الصفر
- نحو القيم العشوائية
- لماذا تم تقديم AdamW؟
- لفصل تسوس الوزن عن تحديث التدرج التكيفي بحيث يتصرف التدرج بشكل صحيح
- لإزالة التدرج بالكامل
- لجعل التدريب أبطأ عن قصد
- للقضاء على الحاجة إلى معدل التعلم
- بالنسبة لنزول التدرج العشوائي البسيط، كيف يرتبط تنظيم L2 بانخفاض الوزن؟
- هم دائما الأضداد
- وهما متساويان رياضيا
- يؤدي تسوس الوزن إلى تعطيل التدرج
- L2 يعمل فقط مع SGD مع الزخم
- ما الذي يتحكم فيه معامل لامدا في تنظيم L2؟
- حجم الدفعة
- عدد العصور
- وظيفة التنشيط
- قوة الجزاء على الأوزان الكبيرة
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size