اختبار التنبؤ بالرمز التالي

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما الذي يخرجه نموذج التنبؤ بالرمز المميز التالي في كل خطوة؟
   • توزيع احتمالي على المفردات للرمز التالي
   • كلمة واحدة ثابتة
   • ترجمة للجملة
   • النتيجة النحوية
2. ما نوع الاهتمام الذي يستخدمه جهاز فك التشفير بنمط GPT؟
   • الاهتمام ثنائي الاتجاه
   • الاهتمام السببي (المقنع) الذي يخفي الرموز المستقبلية
   • لا يوجد اهتمام على الإطلاق
   • اهتمام عشوائي
3. ماذا يعني جيل "الانحدار الذاتي" هنا؟
   • يقوم النموذج بإنشاء جميع الرموز المميزة مرة واحدة
   • يتراجع النموذج إلى قيمة متوسطة
   • يتم إلحاق كل رمز مميز جديد وإعادته للتنبؤ بالرمز التالي
   • يتم إنشاء الرموز بترتيب عشوائي
4. ما هي وظيفة الخسارة التي يتم تقليلها عادةً أثناء التدريب؟
   • يعني الخطأ التربيعي
   • فقدان المفصلي
   • مسافة جيب التمام
   • الانتروبيا المتقاطعة على الرمز التالي
5. ماذا يفعل رفع درجة الحرارة أثناء أخذ العينات؟
   • يجعل الإخراج أكثر عشوائية وإبداعية
   • يجعل الإخراج حتمية بدقة
   • يزيد من حجم المفردات
   • يزيل طبقة softmax
6. قبل التنبؤ، كيف يتم إعداد النص الخام عادة؟
   • يتم ترجمته إلى اللغة الإنجليزية
   • يتم تقسيمها إلى رموز مميزة بواسطة أداة رمزية
   • يتم تحويله إلى الصوت
   • يتم تركها كأحرف خام بدون معالجة
7. During next-token training, what is teacher forcing?
   • The model receives future target tokens before the input
   • The model randomly changes the tokenizer at every step
   • The model receives the ground-truth preceding tokens when predicting the next token
   • The model always samples its own previous prediction during training
8. What mismatch can arise because generation feeds back model-produced tokens?
   • The model can no longer use attention
   • The vocabulary disappears after the first token
   • The model’s loss is computed only on images
   • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix