तकनीकी गाइड
मानव प्रतिक्रिया से सुदृढीकरण सीखना
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
गहरा गोता
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
वास्तविक विश्व कार्यान्वयन
चैट असिस्टेंट को इस तरह से ट्यून करना कि यह हानिकारक अनुरोधों को अस्वीकार कर दे और केवल विश्वसनीय टेक्स्ट के बजाय उपयोगी, अच्छी तरह से संरचित उत्तर दे।
ऐसे मॉडल को प्रशिक्षित करने के लिए मानवीय प्राथमिकता के आधार पर सारांशों की जोड़ियों की रैंकिंग करना, जो ऐसे सारांश लिखते हैं जो लोगों को वास्तव में उपयोगी लगते हैं।
उन प्रतिक्रियाओं को पुरस्कृत करके विषाक्त या पक्षपाती आउटपुट को कम करना जिन्हें मानव मूल्यांकनकर्ता सम्मानजनक और सुरक्षित मानते हैं।
पूर्ण पीपीओ लूप चलाए बिना ओपन-सोर्स मॉडल को संरेखित करने के लिए पसंदीदा बनाम अस्वीकृत उत्तरों के डेटासेट पर डीपीओ का उपयोग करना।
मानव प्रतिक्रिया से सुदृढीकरण सीखने का भविष्य
आरएलएचएफ को सुव्यवस्थित और आंशिक रूप से स्वचालित किया जा रहा है। डीपीओ और संबंधित प्रत्यक्ष-वरीयता विधियां कई टीमों के लिए भारी पीपीओ पाइपलाइन की जगह ले रही हैं, और आरएलएआईएफ लेबलिंग लागत में कटौती करने के लिए एआई-जनरेटेड फीडबैक (संवैधानिक एआई के रूप में) का उपयोग करता है। अनुसंधान प्रक्रिया पर्यवेक्षण और बहस जैसी तकनीकों के साथ रिवॉर्ड हैकिंग, एनोटेटर पूर्वाग्रह और लंबी या विशेषज्ञ प्रतिक्रियाओं को आंकने की कठिनाई से निपट रहा है। मानव और एआई फीडबैक के मिश्रण के लिए संरेखण की अपेक्षा करें, एक अंगूठे से परे समृद्ध इनाम संकेत, और प्राथमिकताएं कौन प्रदान करता है और वे किन मूल्यों को एन्कोड करते हैं, इसकी बढ़ती जांच।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Reinforcement Learning From Human Feedback quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Reinforcement Learning From Human Feedback?
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
भाषा मॉडल के लिए आरएलएचएफ का मुख्य उद्देश्य क्या है?
आरएलएचएफ उन प्रतिक्रियाओं के प्रति एक मॉडल तैयार करता है जो मनुष्य पसंद करते हैं, इसे केवल प्रशंसनीय के बजाय अधिक उपयोगी, ईमानदार और सुरक्षित बनाते हैं।
आरएलएचएफ में इनाम मॉडल वास्तव में क्या करना सीखता है?
इनाम मॉडल को मानव वरीयता तुलनाओं पर प्रशिक्षित किया जाता है ताकि प्रतिक्रियाएँ स्कोर की जा सकें, जिससे नीति को अनुकूलित करने वाले संकेत मिलते हैं।
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
इनाम मॉडल के लिए वरीयता डेटा आम तौर पर कैसे एकत्र किया जाता है?
व्याख्याकार जोड़ीवार तुलनाओं में पसंदीदा प्रतिक्रिया चुनते हैं, जो ब्रैडली-टेरी-शैली के नुकसान के माध्यम से इनाम मॉडल को प्रशिक्षित करता है।
क्लासिक आरएलएचएफ पाइपलाइन की तुलना में डीपीओ (डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) क्या लाभ प्रदान करता है?
डीपीओ अलग-अलग इनाम मॉडल और अस्पष्ट सुदृढीकरण सीखने के चरण से बचते हुए, सीधे प्राथमिकताओं से उद्देश्य प्राप्त करता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं