समूह सापेक्ष नीति अनुकूलन प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. Which separately learned estimator does the original GRPO approach avoid training?
   • The policy that generates completions
   • A value or critic model
   • Every possible reward function
   • The reference policy’s vocabulary
2. जीआरपीओ किसी दिए गए पूर्णता के लिए लाभ की गणना कैसे करता है?
   • प्रत्येक टोकन पर सीखे गए मूल्य शीर्ष पर पूछताछ करके
   • बिना किसी सामान्यीकरण के कच्चे इनाम का उपयोग करके
   • इसकी तुलना किसी भिन्न प्रॉम्प्ट से पूर्णता से करके
   • इसके सहोदर पूर्णताओं के समूह के माध्य और मानक विचलन के विरुद्ध इसके पुरस्कार को मानकीकृत करके
3. किन मॉडलों ने GRPO को प्रसिद्ध बनाया?
   • डीपसीक के डीपसीकमैथ और डीपसीक-आर1 रीज़निंग मॉडल
   • OpenAI की GPT-2 श्रृंखला
   • Google का मूल BERT
   • Meta के लामा 2 बेस मॉडल
4. जीआरपीओ में केएल-डाइवर्जेंस शब्द क्या भूमिका निभाता है?
   • यह पूर्णताओं का समूह उत्पन्न करता है
   • यह इनाम मॉडल की जगह लेता है
   • यह प्रशिक्षित नीति को जमे हुए संदर्भ मॉडल से बहुत दूर जाने से रोकता है
   • यह प्रति-टोकन मूल्य अनुमान की गणना करता है
5. गणित या कोड पर तर्क मॉडल के प्रशिक्षण के लिए जीआरपीओ विशेष रूप से आकर्षक क्यों है?
   • इसके लिए किसी इनाम संकेत की आवश्यकता नहीं है
   • यह केवल मानव प्राथमिकता लेबल के साथ काम करता है
   • यह नमूना पूर्णताओं का उपयोग नहीं कर सकता
   • यह स्वाभाविक रूप से सत्यापन योग्य, नियम-आधारित पुरस्कारों के साथ काम करता है (उदाहरण के लिए, क्या उत्तर मेल खाता था या परीक्षण पास हुआ था) नमूना समाधानों के समूह में प्राप्त किए गए
6. एक ज्ञात पूर्वाग्रह क्या है जिसे अनुवर्ती कार्य (जैसे डॉ. जीआरपीओ) वेनिला जीआरपीओ में ठीक करने का प्रयास करता है?
   • पुरस्कार को पूरी तरह से नजरअंदाज करने की प्रवृत्ति
   • पुरस्कारों को सामान्यीकृत करने के तरीके से लंबाई और कठिनाई पूर्वाग्रहों का परिचय दिया जाता है
   • एक से अधिक पूर्णता का नमूना लेने में असमर्थता
   • एक विशाल आलोचक नेटवर्क की आवश्यकता
7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
   • The completion rewarded 2
   • The completion rewarded 6
   • The completion rewarded 4
   • All completions because rewards differ
8. Why compare GRPO reward statistics among completions of the same prompt?
   • They provide a relative baseline for alternative answers to that prompt
   • They require unrelated prompts to have equal difficulty
   • They replace checking whether an answer is correct
   • They make the highest reward identical across all tasks