आगेअगली गाइड
वरीयता अनुकूलन में लंबाई सामान्यीकरण
बुनियादी बातें
बुनियादी गाइड
इटरेटिव डीपीओ बार-बार ताजा प्रतिक्रियाएं उत्पन्न करके, उन्हें रैंकिंग देकर और प्रत्येक दौर में उन नए जोड़े पर ट्यूनिंग करके एक भाषा मॉडल को मानव या एआई प्राथमिकताओं में संरेखित करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
यह मायने रखता है क्योंकि स्थिर, एक-शॉट वरीयता डेटा पुराना हो जाता है, जबकि पुनरावृत्ति प्रशिक्षण सिग्नल को नीति पर रखती है और मॉडल में सुधार करती है।
Direct Preference Optimization (DPO) skips training a separate reward model: given preferred and rejected responses, it adjusts the policy with a classification-style loss derived from the RLHF objective. Vanilla DPO trains on a fixed dataset, which may become off-policy as the model changes. Iterative DPO closes the loop: the current policy samples responses, human raters or an AI judge compare them, and the next DPO update trains on these fresh pairs. Repeating rounds incurs additional sampling and labeling costs. If the model judges its own outputs, its judgments can also inherit its biases, so independent checks and held-out evaluation remain useful.
एक चैट असिस्टेंट को कई राउंड में संरेखित करना, हर बार नए उत्तरों का नमूना लेना और मदद को तेज करने के लिए उन्हें फिर से रैंक करना
स्व-पुरस्कृत सेटअप जहां मॉडल बेहतर प्राथमिकता डेटा को बूटस्ट्रैप करने के लिए अपने स्वयं के प्रतिक्रिया जोड़े उत्पन्न करता है और उनका मूल्यांकन करता है
एक बार कच्ची गुणवत्ता स्थापित हो जाने पर बाद के पुनरावृत्तियों में लंबाई-नियंत्रित डीपीओ जोड़कर उत्तर की वाचालता को कम करना
डोमेन अनुकूलन, जैसे कि परीक्षण परिणामों के आधार पर ताजा उत्पन्न समाधान जोड़े पर कोडिंग मॉडल को पुनरावृत्त रूप से ट्यून करना
Preference tuning can become more continuous and automated, but each round depends on the judge’s reliability, data coverage, and evaluation that is not reused as training signal. Self-rewarding systems need checks for self-confirming errors, and online cycles need cost and quality measurement at every iteration.
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
इटरेटिव डीपीओ बार-बार ताजा प्रतिक्रियाएं उत्पन्न करके, उन्हें रैंकिंग देकर और प्रत्येक दौर में उन नए जोड़े पर ट्यूनिंग करके एक भाषा मॉडल को मानव या एआई प्राथमिकताओं में संरेखित करता है। यह मायने रखता है क्योंकि स्थिर, एक-शॉट वरीयता डेटा पुराना हो जाता है, जबकि पुनरावृत्ति प्रशिक्षण सिग्नल को नीति पर रखती है और मॉडल में सुधार करती है।
डीपीओ प्राथमिकता जोड़े से सीधे नीति को अनुकूलित करता है, पीपीओ-आधारित आरएलएचएफ द्वारा उपयोग किए जाने वाले अलग-अलग इनाम मॉडल और आरएल लूप को हटा देता है।
प्रत्येक दौर में प्रतिक्रियाओं को पुनर्जीवित करना और पुनः लेबल करना डेटा को वर्तमान नीति के साथ संरेखित रखता है, वितरण बदलाव को कम करता है और पुरानी तुलनाओं को ओवरफिट करता है।
डीपीओ नीति और संदर्भ लॉग-संभावनाओं की तुलना करता है; अनुपात एक अंतर्निहित पुरस्कार के रूप में कार्य करता है और यह सीमित करता है कि नीति कितनी दूर तक बहती है।
प्रत्येक लूप वर्तमान मॉडल से नई पूर्णताएं उत्पन्न करता है, एक जज उन्हें रैंक देता है, और नए जोड़े पर एक डीपीओ अपडेट लागू करता है।
बीटा अंतर्निहित इनाम पर एक तापमान की तरह कार्य करता है, जो प्राथमिकताओं को फिट करने के विरुद्ध संदर्भ के करीब रहता है।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
वरीयता अनुकूलन में लंबाई सामान्यीकरण
बुनियादी बातें