ब्रैडली-टेरी रिवार्ड मॉडलिंग
ब्रैडली-टेरी मॉडल जोड़ीवार तुलनाओं (ए बीट्स बी) को संख्यात्मक अंकों में बदलने के लिए एक सदी पुरानी सांख्यिकीय पद्धति है।
सिंहावलोकन
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
गहरा गोता
ब्रैडली-टेरी, 1952 में पेश किया गया, मानता है कि प्रत्येक आइटम में एक छिपा हुआ ताकत स्कोर होता है, और संभावना है कि आइटम ए आइटम बी को हरा देता है, यह उनके स्कोर अंतर का तार्किक कार्य है। एआई संरेखण में, यह वरीयता डेटा पर बड़े करीने से मैप करता है: मानव लेबलर दो मॉडल प्रतिक्रियाएं देखते हैं और हार्ड-टू-कैलिब्रेट पूर्ण रेटिंग देने के बजाय बेहतर मॉडल चुनते हैं। एक इनाम मॉडल, आमतौर पर एक स्केलर आउटपुट हेड वाला भाषा मॉडल, प्रशिक्षित किया जाता है ताकि मानव द्वारा पसंद की जाने वाली प्रतिक्रिया को एक उच्च स्केलर इनाम मिले। हानि ब्रैडली-टेरी संभाव्यता की नकारात्मक लॉग-संभावना है: लॉग-सिग्मॉइड को अधिकतम करें (चुने हुए का इनाम घटा अस्वीकृत का इनाम)। परिणामी इनाम मॉडल तब मनमाना आउटपुट स्कोर करता है, जो संकेत प्रदान करता है कि पीपीओ जैसे सुदृढीकरण सीखने के एल्गोरिदम मॉडल को अधिक उपयोगी और संरेखित बनाने के लिए अनुकूलित करते हैं।
तकनीकी अंतर्दृष्टि
तुलना के लिए प्रशिक्षण हानि केवल (r_chosen - r_rejected) का माइनस लॉग-सिग्मॉइड है, इसलिए मॉडल केवल सापेक्ष अंतर ही सीखता है। इसका मतलब यह है कि पुरस्कार केवल एक योगात्मक स्थिरांक तक ही पहचाने जा सकते हैं; पूर्ण पैमाना मनमाना है। चूँकि 1 से 10 अंकों की तुलना में मनुष्यों के लिए तुलनाएँ आसान और अधिक सुसंगत हैं, ब्रैडली-टेरी डेटा कम शोर वाला है। प्रत्यक्ष वरीयता अनुकूलन ने बाद में दिखाया कि आप अलग-अलग इनाम मॉडल को छोड़ सकते हैं और सीधे पॉलिसी पर ब्रैडली-टेरी उद्देश्य को अनुकूलित कर सकते हैं।
सामरिक प्रभाव
स्पष्ट निर्णय
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
लागत और बजट
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
टीम और वर्कफ़्लो
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
ब्रैडली-टेरी रिवार्ड मॉडलिंग का भविष्य
ब्रैडली-टेरी एकल सुसंगत रैंकिंग और परिवर्तनीय प्राथमिकताओं को मानते हैं, जो तब टूट जाती है जब मनुष्य असहमत होते हैं या प्राथमिकता चक्र होता है। अनुसंधान उन मॉडलों की ओर बढ़ रहा है जो वरीयता वितरण, बहु-आयामी पुरस्कार (मददगी, सुरक्षा, ईमानदारी अलग-अलग स्कोर किए गए), और मानव प्रतिक्रिया से नैश सीखने जैसे तरीकों को पकड़ते हैं जो एकल-स्कोर धारणा को गिरा देते हैं। डीपीओ और इसके वेरिएंट तेजी से ब्रैडली-टेरी उद्देश्य को सीधे नीति प्रशिक्षण में बदल रहे हैं। इनाम हैकिंग को कम करने के लिए दो से अधिक वस्तुओं की रैंकिंग और आत्मविश्वास-भारित प्राथमिकताओं सहित समृद्ध तुलना योजनाओं की अपेक्षा करें।
वास्तविक विश्व कार्यान्वयन
आरएलएचएफ में इनाम मॉडल का प्रशिक्षण जो दो चैटबॉट प्रतिक्रियाओं को रैंक करता है और पीपीओ फाइन-ट्यूनिंग के लिए बेहतर-बदतर संकेत देता है।
प्रत्यक्ष वरीयता अनुकूलन ब्रैडली-टेरी लॉग-सिग्मॉइड हानि का उपयोग करके सीधे चुने गए बनाम अस्वीकृत उत्तर जोड़े पर एक मॉडल को ठीक करता है।
एलो के माध्यम से शतरंज या ई-स्पोर्ट्स खिलाड़ियों की रैंकिंग, जो गणितीय रूप से खेल के परिणामों पर ब्रैडली-टेरी मॉडल का करीबी रिश्तेदार है।
पूर्ण स्टार रेटिंग के बजाय 'उपयोगकर्ताओं द्वारा बी की तुलना में ए को प्राथमिकता देना' क्लिक डेटा से सामग्री अनुशंसा रैंकर का निर्माण करना।
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
दस्तावेज़ जहां ब्रैडली-टेरी रिवार्ड मॉडलिंग मदद करती है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Bradley-Terry Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
इनाम मॉडलिंग
अक्सर पूछे जाने वाले प्रश्नों
What is Bradley-Terry Reward Modeling?
ब्रैडली-टेरी मॉडल जोड़ीवार तुलनाओं (ए बीट्स बी) को संख्यात्मक अंकों में बदलने के लिए एक सदी पुरानी सांख्यिकीय पद्धति है। आधुनिक एआई में यह उन पुरस्कार मॉडलों को शक्ति प्रदान करता है जो मानवीय प्राथमिकताओं को 'कौन सा उत्तर बेहतर है?' से सीखते हैं। लेबल, आरएलएचएफ की रीढ़।
ब्रैडली-टेरी मॉडल संख्यात्मक अंकों में क्या परिवर्तित करता है?
ब्रैडली-टेरी जोड़ीवार 'ए बीट्स बी' तुलना करता है और प्रत्येक आइटम के लिए एक छिपे हुए ताकत स्कोर का अनुमान लगाता है, यही कारण है कि यह मानव प्राथमिकता लेबलिंग में इतनी अच्छी तरह से फिट बैठता है।
ब्रैडली-टेरी में, A द्वारा B को हराने की प्रायिकता किसका फलन है?
मॉडल ए और बी के छिपे हुए ताकत स्कोर के बीच अंतर के लॉजिस्टिक (सिग्मॉइड) के बराबर पी (ए बीट्स बी) को सेट करता है।
ब्रैडली-टेरी पुरस्कार केवल योगात्मक स्थिरांक तक ही क्यों पहचाने जा सकते हैं?
प्रशिक्षण हानि केवल चुने गए और अस्वीकृत पुरस्कारों के बीच के अंतर का उपयोग करती है, इसलिए सभी अंकों को एक ही स्थिरांक से स्थानांतरित करने से हानि अपरिवर्तित रहती है; पूर्ण पैमाना मनमाना है।
इनाम मॉडलिंग में एकल वरीयता तुलना के लिए मानक हानि क्या है?
ब्रैडली-टेरी नकारात्मक लॉग-संभावना चुने हुए-माइनस-अस्वीकृत इनाम अंतर के माइनस लॉग-सिग्मॉइड को कम कर देती है, जिससे चुने गए प्रतिक्रिया का इनाम अधिक बढ़ जाता है।
कौन सी विधि ब्रैडली-टेरी उद्देश्य को सीधे पॉलिसी पर अनुकूलित करके एक अलग इनाम मॉडल को छोड़ देती है?
डीपीओ ब्रैडली-टेरी वरीयता उद्देश्य को पुन: तैयार करता है ताकि इसे सीधे नीति मॉडल पर लागू किया जा सके, जिससे स्टैंडअलोन इनाम मॉडल को प्रशिक्षित करने और क्वेरी करने की आवश्यकता को हटा दिया जा सके।