اختبار مرتبط بالدليل · متوسط المستوى
مكافأة النمذجة مسابقة
اختبر نتائج نموذج المكافأة، وبيانات التفضيل، وفقدان الترتيب الزوجي، وقرصنة المكافآت، وأفضل استخدام في RLHF. التحقق من الافتراضات والنطاق.
سؤال 1 من 8
ما هو الناتج الأساسي لنموذج المكافأة لزوج استجابة سريعة معين؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو الناتج الأساسي لنموذج المكافأة لزوج استجابة سريعة معين؟
- درجة عددية واحدة
- الرد بالنص الكامل
- التوزيع الاحتمالي على المفردات
- قائمة الرموز المفضلة
- ما هو صيغة الملاحظات التي جمعها ورقة InstructGPT لتدريب نموذج المكافأة الخاص بها؟
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- ما الذي يتم تحسينه من خلال خسارة نموذج المكافأة القياسية؟
- قيمة المكافأة المطلقة لكل إجابة
- دقة التنبؤ بالرمز التالي
- أن تكون درجات الرد المختار أعلى من الرد المرفوض
- طول الردود
- ما هو "قرصنة المكافأة"؟
- سرقة نموذج مكافأة المنافس
- طريقة لتسريع التدريب
- تشفير إشارة المكافأة
- سياسة استغلال العيوب في نموذج المكافأة للحصول على درجات عالية دون جودة حقيقية
- كيف يتم اشتقاق نموذج المكافأة معماريا من نموذج اللغة؟
- عن طريق استبدال رأس التنبؤ بالرمز المميز برأس إخراج عددي واحد
- عن طريق إضافة المزيد من طبقات الاهتمام
- عن طريق إزالة جميع طبقات المحولات
- من خلال مضاعفة المفردات
- كيف يتم استخدام نموذج المكافأة في وقت الاستدلال في أخذ العينات الأفضل من N؟
- تدريب نماذج المكافأة N بالتوازي
- إنشاء استجابات متعددة واستخدام نموذج المكافأة لاختيار أعلى الدرجات
- اختيار الرموز N الأكثر شيوعًا
- متوسط نقاط التفتيش النموذجية N
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons