तकनीकी गाइड
समूह सापेक्ष नीति अनुकूलन
समूह सापेक्ष नीति अनुकूलन (जीआरपीओ) भाषा मॉडल को ठीक करने के लिए एक सुदृढीकरण-सीखने की विधि है जो पीपीओ द्वारा उपयोग किए जाने वाले अलग-अलग मूल्य नेटवर्क को समाप्त करते हुए, एक ही संकेत के लिए भाई-बहन के उत्तरों के समूह के खिलाफ प्रत्येक उत्तर का मूल्यांकन करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It became famous as the core training trick behind DeepSeek's reasoning models.
गहरा गोता
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
वास्तविक विश्व कार्यान्वयन
गणित की समस्याओं पर नियम-आधारित शुद्धता पुरस्कारों का उपयोग करके लंबी श्रृंखला-विचार तर्क उत्पन्न करने के लिए डीपसीक-आर1 और डीपसीकमैथ को प्रशिक्षण देना
कोड-जेनरेशन मॉडल को फाइन-ट्यूनिंग करना जहां प्रत्येक नमूना समाधान को इस आधार पर स्कोर किया जाता है कि क्या यह इकाई परीक्षण पास करता है, और विजेताओं को चुनने के लिए समूह को सामान्यीकृत किया जाता है
एक अलग मूल्य नेटवर्क के लिए भुगतान किए बिना चैट मॉडल को संरेखित करने के लिए जीआरपीओ का उपयोग करते हुए ओपन-सोर्स आरएलएचएफ पाइपलाइन (उदाहरण के लिए, टीआरएल और वर्ल लाइब्रेरी में)
प्रति संकेत कई प्रतिक्रियाओं का नमूना लेकर निर्देश-पालन या सुरक्षा व्यवहार में सुधार करना और उन लोगों को पुरस्कृत करना जो उनके साथियों की तुलना में सबसे अधिक पुरस्कार मॉडल दर हैं।
समूह सापेक्ष नीति अनुकूलन का भविष्य
जीआरपीओ तेजी से खुले तर्क मॉडल के प्रशिक्षण के लिए एक डिफ़ॉल्ट नुस्खा बन गया है, और प्रयोगशालाएं इसके कमजोर बिंदुओं पर पुनरावृत्ति कर रही हैं। शोधकर्ता लंबाई और कठिनाई पूर्वाग्रहों (जैसे कि डॉ. जीआरपीओ), अनुक्रम-स्तर सामान्यीकरण के बजाय टोकन-स्तर, और केएल शब्द को हटाने या दोबारा आकार देने के समाधान की खोज कर रहे हैं। सत्यापन योग्य पुरस्कारों (गणित, कोड, उपकरण का उपयोग), विरल संकेतों की बेहतर हैंडलिंग और एजेंटिक, बहु-चरणीय कार्यों के लिए हल्के आलोचकों के साथ समूह आधार रेखाओं को संयोजित करने वाले हाइब्रिड के साथ सख्त एकीकरण की अपेक्षा करें।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Group Relative Policy Optimization quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Group Relative Policy Optimization?
समूह सापेक्ष नीति अनुकूलन (जीआरपीओ) भाषा मॉडल को ठीक करने के लिए एक सुदृढीकरण-सीखने की विधि है जो पीपीओ द्वारा उपयोग किए जाने वाले अलग-अलग मूल्य नेटवर्क को समाप्त करते हुए, एक ही संकेत के लिए भाई-बहन के उत्तरों के समूह के खिलाफ प्रत्येक उत्तर का मूल्यांकन करता है। यह डीपसीक के तर्क मॉडल के पीछे मुख्य प्रशिक्षण चाल के रूप में प्रसिद्ध हो गया।
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
जीआरपीओ किसी दिए गए पूर्णता के लिए लाभ की गणना कैसे करता है?
प्रत्येक पूर्णता का लाभ (इनाम - समूह माध्य)/समूह मानक विचलन है, इसलिए समान संकेत के उत्तरों का समूह आधार रेखा के रूप में कार्य करता है।
किन मॉडलों ने GRPO को प्रसिद्ध बनाया?
GRPO को DeepSeek द्वारा पेश किया गया और लोकप्रिय बनाया गया, विशेष रूप से DeepSeekMath में और DeepSeek-R1 रीज़निंग मॉडल के पीछे RL इंजन के रूप में।
जीआरपीओ में केएल-डाइवर्जेंस शब्द क्या भूमिका निभाता है?
एक संदर्भ (आमतौर पर प्री-आरएल) मॉडल के खिलाफ केएल जुर्माना प्रशिक्षण को नियमित करता है ताकि नीति खराब हुए बिना या ख़राब आउटपुट में बहे बिना सुधार हो।
गणित या कोड पर तर्क मॉडल के प्रशिक्षण के लिए जीआरपीओ विशेष रूप से आकर्षक क्यों है?
कई समाधानों का नमूना लेना और उन्हें स्वचालित शुद्धता जांच के साथ स्कोर करना, जीआरपीओ के समूह-सामान्यीकृत लाभों के साथ स्पष्ट रूप से जुड़ जाता है, किसी आलोचक की आवश्यकता नहीं होती है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं