भाषा एआई गाइड
एलएलएम में उलटा अभिशाप
उलटा अभिशाप एक आश्चर्यजनक विफलता मोड है जहां एक भाषा मॉडल जो सीखता है कि 'ए बी है' वह विश्वसनीय रूप से उत्तर नहीं दे सकता है 'बी ए है।' इससे पता चलता है कि एलएलएम तथ्यों को एक-दिशात्मक संघों के रूप में संग्रहीत करते हैं, न कि सममित ज्ञान के रूप में।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
गहरा गोता
बर्गलुंड और सहकर्मियों द्वारा 2023 के पेपर में प्रलेखित, रिवर्सल श्राप से पता चलता है कि यदि एक मॉडल को 'टॉम क्रूज़ की मां मैरी ली फ़िफ़र है' पर प्रशिक्षित किया जाता है, तो यह अक्सर विफल हो जाता है जब पूछा जाता है कि 'मैरी ली फ़िफ़र का बेटा कौन है?' भले ही उत्तर तार्किक रूप से समान हो। यह प्रभाव सभी मॉडल आकारों में और ऐसे सैकड़ों तथ्यों पर फाइन-ट्यूनिंग के बाद भी बना रहता है। यह कोई मेमोरी गैप नहीं है: मॉडल ने जानकारी देखी है, लेकिन केवल एक क्रम में। क्योंकि प्रशिक्षण डेटा में सटीक शब्द क्रम पर अगली-टोकन भविष्यवाणी को अनुकूलित करता है, ए से बी तक का सांख्यिकीय लिंक स्वचालित रूप से बी से ए तक लिंक नहीं बनाता है। खोज ने उन धारणाओं को चुनौती दी है कि स्केल अकेले तथ्यों पर लचीला, मानव-समान तर्क पैदा करता है।
वास्तविक विश्व कार्यान्वयन
एक चैटबॉट किसी सेलिब्रिटी के माता-पिता के बारे में सही-सही बताता है, लेकिन जब उससे उस माता-पिता के प्रसिद्ध बच्चे का नाम पूछा जाता है, तो वह असफल हो जाता है।
एक मॉडल का कहना है कि 'नौवें राष्ट्रपति विलियम हेनरी हैरिसन थे' फिर भी 'विलियम हेनरी हैरिसन किस नंबर के राष्ट्रपति थे' पर अटक गया।
एक कोडिंग सहायक जिसने फ़ंक्शन-टू-डिस्क्रिप्शन मैपिंग सीखी है, अकेले विवरण से फ़ंक्शन नाम पुनर्प्राप्त नहीं कर सकता है।
'ड्रग एक्स कंडीशन वाई का इलाज करता है' पर प्रशिक्षित एक मेडिकल क्यूए सिस्टम ड्रग एक्स को सूचीबद्ध करने में विफल रहता है जब उससे पूछा जाता है कि क्या कंडीशन वाई का इलाज करता है।
एलएलएम में उत्क्रमण अभिशाप का भविष्य
अध्ययन के तहत शमन में द्विदिश डेटा संवर्द्धन (उल्टे वाक्यांशों को जोड़ना), प्रशिक्षण उद्देश्य जो दोनों दिशाओं में टोकन की भविष्यवाणी करते हैं, और पुनर्प्राप्ति प्रणाली शामिल हैं जो याद किए गए वजन पर भरोसा करने के बजाय सममित रूप से तथ्यों को देखते हैं। कुछ नए आर्किटेक्चर और रिवर्स-प्रीट्रेनिंग प्रयोग इस अंतर को कम करते हैं। उम्मीद करें कि अभिशाप कम हो जाएगा लेकिन गायब नहीं होगा, क्योंकि यह अगले-टोकन सीखने और वास्तविक दुनिया के संबंधों की सममित संरचना के बीच एक गहरे बेमेल को उजागर करता है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Reversal Curse in LLMs quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Reversal Curse in LLMs?
उलटा अभिशाप एक आश्चर्यजनक विफलता मोड है जहां एक भाषा मॉडल जो सीखता है कि 'ए बी है' वह विश्वसनीय रूप से उत्तर नहीं दे सकता है 'बी ए है।' इससे पता चलता है कि एलएलएम तथ्यों को एक-दिशात्मक संघों के रूप में संग्रहीत करते हैं, न कि सममित ज्ञान के रूप में।
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं