RLHF کوئز میں گروپڈ ریوارڈ نارملائزیشن

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. گروپ شدہ انعام کو معمول پر لانے میں، ہر جواب کے انعام کے مقابلے میں کیا ہے؟
   • اس کے اپنے پرامپٹ کے گروپ کا اوسط اور معیاری انحراف
   • ایک مقررہ عالمی مستقل
   • پچھلے دور سے ملنے والا اجر
   • ماڈل کے پیرامیٹر کی گنتی
2. کون سا الگورتھم گروپ شدہ انعام کو معمول پر لانے کے ساتھ سب سے زیادہ وابستہ ہے؟
   • سٹوکاسٹک گریڈینٹ ڈیسنٹ
   • GRPO (گروپ ریلیٹیو پالیسی آپٹیمائزیشن)
   • K کا مطلب کلسٹرنگ ہے۔
   • بیک پروپیگیشن
3. معیاری پی پی او کے کون سے جز کو GRPO خاص طور پر ختم کرتا ہے؟
   • انعام کا ماڈل
   • نیورل نیٹ ورک مکمل طور پر
   • علیحدہ ویلیو نیٹ ورک (تنقید)
   • تربیت کا ڈیٹا
4. اس جواب کا کیا ہوتا ہے جس کا اجر اس کے گروپ کے اوسط سے کم ہو؟
   • اسے مثبت فائدہ ملتا ہے اور تقویت ملتی ہے۔
   • اسے ڈیٹاسیٹ سے حذف کر دیا گیا ہے۔
   • اس کا اجر دوگنا ہے۔
   • اس کا منفی فائدہ ہوتا ہے اور حوصلہ شکنی ہوتی ہے۔
5. What does within-prompt reward normalization provide to a GRPO update?
   • A relative, scaled advantage for each response compared with others for the same prompt
   • A guarantee that all prompt difficulty differences disappear
   • A higher learning rate
   • A way to make every response receive the same reward
6. What happens when every response in a prompt group receives the same reward?
   • Every response gets a positive advantage
   • Centering gives no relative advantage; zero spread also requires numerical handling
   • The group mean doubles the reward
   • The model stops needing a policy objective
7. Which PPO-style update element does GRPO retain?
   • A separately learned value network
   • K-means clustering over tokens
   • A clipped policy objective
   • A language-model tokenizer
8. What can a KL penalty relative to a reference policy help constrain in GRPO?
   • The number of prompts in each group
   • The length of the tokenizer vocabulary
   • The resolution of generated images
   • How far the updated policy drifts from the reference policy