बुनियादी गाइड

ब्रैडली-टेरी रिवार्ड मॉडलिंग

ब्रैडली-टेरी मॉडल जोड़ीवार तुलनाओं (ए बीट्स बी) को संख्यात्मक अंकों में बदलने के लिए एक सदी पुरानी सांख्यिकीय पद्धति है।

इस गाइड को सुनेंएआई-नैरेटेड · ~2 min

इस पृष्ठ पर2 मिनट लाल
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. ब्रैडली-टेरी रिवार्ड मॉडलिंग का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

आधुनिक एआई में यह उन पुरस्कार मॉडलों को शक्ति प्रदान करता है जो मानवीय प्राथमिकताओं को 'कौन सा उत्तर बेहतर है?' से सीखते हैं। लेबल, आरएलएचएफ की रीढ़।

गहरा गोता

ब्रैडली-टेरी, 1952 में पेश किया गया, मानता है कि प्रत्येक आइटम में एक छिपा हुआ ताकत स्कोर होता है, और संभावना है कि आइटम ए आइटम बी को हरा देता है, यह उनके स्कोर अंतर का तार्किक कार्य है। एआई संरेखण में, यह वरीयता डेटा पर बड़े करीने से मैप करता है: मानव लेबलर दो मॉडल प्रतिक्रियाएं देखते हैं और हार्ड-टू-कैलिब्रेट पूर्ण रेटिंग देने के बजाय बेहतर मॉडल चुनते हैं। एक इनाम मॉडल, आमतौर पर एक स्केलर आउटपुट हेड वाला भाषा मॉडल, प्रशिक्षित किया जाता है ताकि मानव द्वारा पसंद की जाने वाली प्रतिक्रिया को एक उच्च स्केलर इनाम मिले। हानि ब्रैडली-टेरी संभाव्यता की नकारात्मक लॉग-संभावना है: लॉग-सिग्मॉइड को अधिकतम करें (चुने हुए का इनाम घटा अस्वीकृत का इनाम)। परिणामी इनाम मॉडल तब मनमाना आउटपुट स्कोर करता है, जो संकेत प्रदान करता है कि पीपीओ जैसे सुदृढीकरण सीखने के एल्गोरिदम मॉडल को अधिक उपयोगी और संरेखित बनाने के लिए अनुकूलित करते हैं।

वास्तविक विश्व कार्यान्वयन

आरएलएचएफ में इनाम मॉडल का प्रशिक्षण जो दो चैटबॉट प्रतिक्रियाओं को रैंक करता है और पीपीओ फाइन-ट्यूनिंग के लिए बेहतर-बदतर संकेत देता है।

प्रत्यक्ष वरीयता अनुकूलन ब्रैडली-टेरी लॉग-सिग्मॉइड हानि का उपयोग करके सीधे चुने गए बनाम अस्वीकृत उत्तर जोड़े पर एक मॉडल को ठीक करता है।

एलो के माध्यम से शतरंज या ई-स्पोर्ट्स खिलाड़ियों की रैंकिंग, जो गणितीय रूप से खेल के परिणामों पर ब्रैडली-टेरी मॉडल का करीबी रिश्तेदार है।

पूर्ण स्टार रेटिंग के बजाय 'उपयोगकर्ताओं द्वारा बी की तुलना में ए को प्राथमिकता देना' क्लिक डेटा से सामग्री अनुशंसा रैंकर का निर्माण करना।

ब्रैडली-टेरी रिवार्ड मॉडलिंग का भविष्य

ब्रैडली-टेरी एकल सुसंगत रैंकिंग और परिवर्तनीय प्राथमिकताओं को मानते हैं, जो तब टूट जाती है जब मनुष्य असहमत होते हैं या प्राथमिकता चक्र होता है। अनुसंधान उन मॉडलों की ओर बढ़ रहा है जो वरीयता वितरण, बहु-आयामी पुरस्कार (मददगी, सुरक्षा, ईमानदारी अलग-अलग स्कोर किए गए), और मानव प्रतिक्रिया से नैश सीखने जैसे तरीकों को पकड़ते हैं जो एकल-स्कोर धारणा को गिरा देते हैं। डीपीओ और इसके वेरिएंट तेजी से ब्रैडली-टेरी उद्देश्य को सीधे नीति प्रशिक्षण में बदल रहे हैं। इनाम हैकिंग को कम करने के लिए दो से अधिक वस्तुओं की रैंकिंग और आत्मविश्वास-भारित प्राथमिकताओं सहित समृद्ध तुलना योजनाओं की अपेक्षा करें।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
  • लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
  • टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।

का ध्यान रखें

  • अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
  • बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
  • डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।

अगले चरण

  1. आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
  2. परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
  3. प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
  4. दस्तावेज़ जहां ब्रैडली-टेरी रिवार्ड मॉडलिंग मदद करती है और जहां सरल तरीके बेहतर हैं।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Bradley-Terry Reward Modeling quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

ब्रैडली-टेरी रिवार्ड मॉडलिंग क्या है?

ब्रैडली-टेरी मॉडल जोड़ीवार तुलनाओं (ए बीट्स बी) को संख्यात्मक अंकों में बदलने के लिए एक सदी पुरानी सांख्यिकीय पद्धति है। आधुनिक एआई में यह उन पुरस्कार मॉडलों को शक्ति प्रदान करता है जो मानवीय प्राथमिकताओं को 'कौन सा उत्तर बेहतर है?' से सीखते हैं। लेबल, आरएलएचएफ की रीढ़।

ब्रैडली-टेरी मॉडल संख्यात्मक अंकों में क्या परिवर्तित करता है?

ब्रैडली-टेरी जोड़ीवार 'ए बीट्स बी' तुलना करता है और प्रत्येक आइटम के लिए एक छिपे हुए ताकत स्कोर का अनुमान लगाता है, यही कारण है कि यह मानव प्राथमिकता लेबलिंग में इतनी अच्छी तरह से फिट बैठता है।

ब्रैडली-टेरी में, A द्वारा B को हराने की प्रायिकता किसका फलन है?

मॉडल ए और बी के छिपे हुए ताकत स्कोर के बीच अंतर के लॉजिस्टिक (सिग्मॉइड) के बराबर पी (ए बीट्स बी) को सेट करता है।

ब्रैडली-टेरी पुरस्कार केवल योगात्मक स्थिरांक तक ही क्यों पहचाने जा सकते हैं?

प्रशिक्षण हानि केवल चुने गए और अस्वीकृत पुरस्कारों के बीच के अंतर का उपयोग करती है, इसलिए सभी अंकों को एक ही स्थिरांक से स्थानांतरित करने से हानि अपरिवर्तित रहती है; पूर्ण पैमाना मनमाना है।

इनाम मॉडलिंग में एकल वरीयता तुलना के लिए मानक हानि क्या है?

ब्रैडली-टेरी नकारात्मक लॉग-संभावना चुने हुए-माइनस-अस्वीकृत इनाम अंतर के माइनस लॉग-सिग्मॉइड को कम कर देती है, जिससे चुने गए प्रतिक्रिया का इनाम अधिक बढ़ जाता है।

कौन सी विधि ब्रैडली-टेरी उद्देश्य को सीधे पॉलिसी पर अनुकूलित करके एक अलग इनाम मॉडल को छोड़ देती है?

डीपीओ ब्रैडली-टेरी वरीयता उद्देश्य को पुन: तैयार करता है ताकि इसे सीधे नीति मॉडल पर लागू किया जा सके, जिससे स्टैंडअलोन इनाम मॉडल को प्रशिक्षित करने और क्वेरी करने की आवश्यकता को हटा दिया जा सके।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →