भाषा एआई गाइड
कन्नमैन-टवरस्की अनुकूलन
कन्नमैन-टावर्सकी ऑप्टिमाइज़ेशन (केटीओ) एक संरेखण विधि है जो युग्मित तुलनाओं के बजाय सरल थम्स-अप या थम्स-डाउन लेबल से सीखती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
गहरा गोता
2024 में स्टैनफोर्ड और कॉन्टेक्स्टुअल एआई में एथयाराज़ और उनके सहयोगियों द्वारा पेश किया गया केटीओ, संभावना सिद्धांत से उधार लिया गया है, डैनियल काह्नमैन और अमोस टावर्सकी के नोबेल विजेता काम कि मनुष्य कैसे लाभ और हानि को महत्व देते हैं। डीपीओ जैसे मानक तरीकों को वरीयता जोड़े की आवश्यकता होती है: एक ही संकेत के लिए एक चुना हुआ और एक अस्वीकृत उत्तर। इसके बजाय केटीओ अयुग्मित डेटा के साथ काम करता है जहां प्रत्येक व्यक्तिगत आउटपुट को केवल वांछनीय या अवांछनीय के रूप में चिह्नित किया जाता है। यह एक मानव-जागरूक हानि का निर्माण करता है जो एक नमूने पर मॉडल के सुधार को संदर्भ बिंदु के सापेक्ष लाभ या हानि के रूप में मानता है, हानि से बचने के लिए लागू करता है ताकि अवांछित आउटपुट को वांछनीय लोगों को पुरस्कृत करने की तुलना में अधिक तेजी से दंडित किया जाए। यह टीमों को उत्पादन ऐप्स में पहले से ही एकत्र किए गए प्रचुर थम्स-अप/डाउन सिग्नल का उपयोग करने देता है।
वास्तविक विश्व कार्यान्वयन
प्राथमिकता जोड़े बनाए बिना इसे ठीक करने के लिए तैनात चैटबॉट से थम्स-अप/थम्स-डाउन क्लिक का उपयोग करना
एक मॉडल को संरेखित करना जब आपके पास 'अच्छे' और 'बुरे' उत्तरों का ढेर हो लेकिन समान संकेतों के लिए कोई मिलान वाली तुलना न हो
एक उत्पाद टीम केटीओ प्रशिक्षण में मॉडरेशन फ़्लैग (अवांछनीय) और सहेजी गई प्रतिक्रियाओं (वांछनीय) का पुनर्चक्रण कर रही है
केटीओ की हानि-विपरीतता और वर्ग भार को समायोजित करके असंतुलित प्रतिक्रिया को संभालना जहां पसंद की तुलना में नापसंद दुर्लभ हैं
कन्नमन-टवरस्की अनुकूलन का भविष्य
केटीओ वास्तविक उत्पादों के लिए उपयुक्त है, जहां उपयोगकर्ता स्वाभाविक रूप से पसंद या नापसंद पर क्लिक करते हैं लेकिन शायद ही कभी दो उत्तरों को एक साथ रैंक करते हैं। निरंतर सुधार लूप के लिए व्यापक रूप से अपनाने की अपेक्षा करें जो उत्पादन प्रतिक्रिया को रीसायकल करता है, साथ ही वांछनीय-से-अवांछनीय डेटा अनुपात और हानि-विपरीत वजन को समायोजित करने के लिए अनुसंधान करता है। केटीओ के व्यवहार-अर्थशास्त्र को अन्य उद्देश्यों के साथ जोड़ना, और इसे मल्टीमॉडल फीडबैक पर लागू करना, सक्रिय दिशा-निर्देश हैं क्योंकि टीमें गड़बड़ वास्तविक दुनिया के संकेतों से संरेखण की तलाश करती हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Kahneman-Tversky Optimization quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Kahneman-Tversky Optimization?
कन्नमैन-टावर्सकी ऑप्टिमाइज़ेशन (केटीओ) एक संरेखण विधि है जो युग्मित तुलनाओं के बजाय सरल थम्स-अप या थम्स-डाउन लेबल से सीखती है। यह मायने रखता है क्योंकि अधिकांश तरीकों की मांग वाले रैंक वाले जोड़े की तुलना में बाइनरी फीडबैक एकत्र करना कहीं अधिक आसान और सस्ता है।
KTO को किस प्रकार के डेटा की आवश्यकता है?
केटीओ मिलान किए गए प्राथमिकता जोड़े के बजाय सरल प्रति-उदाहरण अंगूठे-ऊपर/नीचे लेबल से सीखता है।
KTO किस निकाय के कार्य से प्रेरित है?
केटीओ ने लाभ और हानि का असमान रूप से मूल्यांकन करने के संभावना सिद्धांत के विचार को उधार लिया है, इसलिए इसे यह नाम दिया गया है।
केटीओ में प्रयुक्त 'नुकसान से बचाव' क्या है?
संभावना सिद्धांत कहता है कि लाभ की तुलना में हानि अधिक है, इसलिए केटीओ नकारात्मक विचलन को अधिक महत्व देता है।
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
KTO में विचलन किसके सापेक्ष मापा जाता है?
केटीओ का मूल्य फ़ंक्शन यह निर्धारित करता है कि प्रतिक्रिया संदर्भ आधार रेखा के ऊपर या नीचे बैठती है या नहीं, इसे लाभ या हानि के रूप में माना जाता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं