اختبار أخذ العينات والتعرض المتحيز

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ينشأ تحيز التعرض لأن النماذج التي تم تدريبها بإجبار المعلم تشترط فقط ما يلي:
   • رموز الحقيقة الأرضية، ولكن يجب استخدام رموزها الخاصة عند الاستدلال
   • الرموز الخاصة بهم المتوقعة
   • رموز الضوضاء العشوائية
   • الرموز المستقبلية
2. ماذا يفعل أخذ العينات المجدولة أثناء التدريب؟
   • يغذي دائمًا الرمز الحقيقي
   • يختار بشكل عشوائي بين الرمز الحقيقي والتنبؤ بالنموذج
   • تعطيل وظيفة الخسارة بشكل دوري
   • مضاعفة معدل التعلم مع مرور الوقت
3. كيف يتغير احتمال استخدام رمز الحقيقة الأرضية مع التدريب في أخذ العينات المجدولة؟
   • يبقى ثابتا
   • يبدأ منخفضًا ويزداد
   • يبدأ عاليًا ثم ينحدر نحو الصفر
   • أنها تتأرجح بشكل عشوائي
4. من الذي قدم أخذ العينات المجدولة، ومتى تقريبًا؟
   • فاسواني وآخرون، 2017
   • هينتون وآخرون، 2006
   • ليكون وآخرون، 1998
   • بنجيو وآخرون، 2015
5. من العوائق الفنية المعترف بها لتغذية الرموز المميزة للعينات أثناء التدريب ما يلي:
   • خطوة أخذ العينات المنفصلة غير قابلة للتمييز، مما يعقد التدرجات
   • فهو يجعل التدريب حتمية تماما
   • لا يتطلب أي بيانات التحقق من الصحة
   • أنه يلغي الحاجة للتضمين
6. ما هو شكل الجدول الزمني الذي يتم الاستشهاد به بشكل شائع لتقليل احتمالية إجبار المعلم؟
   • ثابت
   • معكوس السيني الاضمحلال
   • زيادة خطية تصاعدية
   • المشي العشوائي
7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
   • The next ground-truth token every time
   • A token from a separate validation sequence
   • A token sampled from the model’s predicted distribution
   • The average of all vocabulary embeddings
8. Why does scheduled sampling usually begin with a high probability of using ground truth?
   • It guarantees unbiased gradients
   • It removes the need for a training schedule
   • It makes inference use ground-truth tokens
   • Early predictions are poor, so a correct prefix can stabilize initial learning