भाषा एआई गाइड
अस्वीकृति नमूनाकरण फ़ाइन-ट्यूनिंग
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
गहरा गोता
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
वास्तविक विश्व कार्यान्वयन
प्रति संकेत एकाधिक उत्तरों का नमूना लेकर लामा-शैली मॉडल को संरेखित करना, उच्चतम इनाम-मॉडल स्कोर बनाए रखना, फिर उन पर एसएफटी
कई समाधान तैयार करके और केवल सही, जांच योग्य उत्तर तक पहुंचने वाले समाधानों को बनाए रखकर एक गणित सॉल्वर को बेहतर बनाना
कोड जनरेशन जहां उम्मीदवारों को केवल तभी रखा जाता है जब वे यूनिट परीक्षण पास कर लेते हैं, फिर प्रशिक्षण डेटा के रूप में उपयोग किया जाता है
अगले प्रशिक्षण दौर के लिए मॉडल की अपनी सर्वश्रेष्ठ स्व-निर्मित प्रतिक्रियाओं को फ़िल्टर करके सिंथेटिक निर्देश डेटासेट का निर्माण करना
अस्वीकृति नमूनाकरण फ़ाइन-ट्यूनिंग का भविष्य
आरएफटी आधुनिक प्रशिक्षण के बाद का केंद्र है, जिसका उपयोग अक्सर पीपीओ और डीपीओ जैसे आरएल तरीकों से पहले या उनके साथ किया जाता है। इसकी अपील सस्ते अनुमान और मजबूत स्वचालित सत्यापनकर्ताओं के साथ बढ़ती है: जैसे-जैसे मॉडल स्व-उत्पादन और स्व-जाँच में बेहतर होते जाते हैं, पुनरावृत्त अस्वीकृति नमूनाकरण सिंथेटिक-डेटा और स्व-सुधार लूप का समर्थन करता है। तर्क मॉडल के साथ सख्त एकीकरण की अपेक्षा करें जो विचार की सत्यापन योग्य श्रृंखला उत्पन्न करता है, और मॉडल के स्वयं के आउटपुट पर बार-बार प्रशिक्षण देने पर इनाम हैकिंग और विविधता के पतन से बचने के लिए चल रहे अध्ययन की अपेक्षा करें।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Rejection Sampling Fine-Tuning quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
अस्वीकृति नमूनाकरण फाइन-ट्यूनिंग क्या है?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
आरएफटी कई प्रतिक्रियाओं का नमूना लेता है, शीर्ष स्कोरिंग वाले को फ़िल्टर करता है, और उन विजेताओं पर मॉडल को ठीक करता है।
गणित या कोड जैसे सत्यापन योग्य डोमेन में, पुरस्कार के रूप में क्या काम आ सकता है?
जांचने योग्य कार्यों के लिए, आरएफटी सीखे हुए इनाम मॉडल से बचते हुए, सटीक शुद्धता का उपयोग कर सकता है या यूनिट परीक्षण पास कर सकता है।
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
अधिकतम-इनाम नमूनों पर प्रशिक्षण प्रभावी ढंग से क्या करता है?
शीर्ष फ़िल्टर की गई प्रतिक्रियाओं से सीखकर, मॉडल एक ही पीढ़ी में उच्च-गुणवत्ता वाले व्यवहार को आंतरिक बनाता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं