تطبيع المكافأة المجمعة في اختبار RLHF

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. في تطبيع المكافأة المجمعة، ما هي مكافأة كل استجابة مقارنة بها؟
   • المتوسط والانحراف المعياري لمجموعة الموجهات الخاصة بها
   • ثابت عالمي ثابت
   • المكافأة من العصر السابق
   • عدد معلمات النموذج
2. ما هي الخوارزمية الأكثر ارتباطًا بتطبيع المكافآت المجمعة؟
   • نزول التدرج العشوائي
   • GRPO (تحسين السياسة النسبية للمجموعة)
   • K-يعني التجميع
   • الانتشار العكسي
3. ما هو مكون PPO القياسي الذي يزيله GRPO بشكل خاص؟
   • نموذج المكافأة
   • الشبكة العصبية بالكامل
   • شبكة القيمة المنفصلة (نقد)
   • بيانات التدريب
4. ماذا يحدث للاستجابة التي تكون مكافأتها أقل من متوسط مجموعتها؟
   • يتلقى ميزة إيجابية ويتم تعزيزه
   • يتم حذفه من مجموعة البيانات
   • وأجرها مضاعف
   • يتلقى ميزة سلبية ويثبط عزيمته
5. What does within-prompt reward normalization provide to a GRPO update?
   • A relative, scaled advantage for each response compared with others for the same prompt
   • A guarantee that all prompt difficulty differences disappear
   • A higher learning rate
   • A way to make every response receive the same reward
6. What happens when every response in a prompt group receives the same reward?
   • Every response gets a positive advantage
   • Centering gives no relative advantage; zero spread also requires numerical handling
   • The group mean doubles the reward
   • The model stops needing a policy objective
7. Which PPO-style update element does GRPO retain?
   • A separately learned value network
   • K-means clustering over tokens
   • A clipped policy objective
   • A language-model tokenizer
8. What can a KL penalty relative to a reference policy help constrain in GRPO?
   • The number of prompts in each group
   • The length of the tokenizer vocabulary
   • The resolution of generated images
   • How far the updated policy drifts from the reference policy