तकनीकी गाइड
सुधारात्मक आरएजी (सीआरएजी)
सुधारात्मक आरएजी (सीआरएजी) एक पुनर्प्राप्ति-संवर्धित पीढ़ी विधि है जो उत्तर देने से पहले जांचती है कि पुनर्प्राप्त दस्तावेज़ कितने प्रासंगिक हैं, और जब पुनर्प्राप्ति कमजोर दिखती है तो सुधारात्मक कार्रवाई करती है, जैसे दस्तावेज़ों को परिष्कृत करना, क्वेरी को फिर से लिखना या वेब पर खोज करना।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर3 मिनट लाल
सिंहावलोकन
यह मायने रखता है क्योंकि मानक आरएजी जो कुछ भी प्राप्त करता है उसे मॉडल में पास कर देता है, और अप्रासंगिक या भ्रामक दस्तावेज़ गलत, आत्मविश्वास से बताए गए उत्तरों का एक प्रमुख कारण हैं।
गहरा गोता
सीआरएजी को शि-क्यूई यान और उनके सहयोगियों द्वारा 2024 के पेपर "करेक्टिव रिट्रीवल ऑगमेंटेड जेनरेशन" में पेश किया गया था। यह मानक आरएजी की बुनियादी कमजोरी को लक्षित करता है: जनरेटर रिट्रीवर पर भरोसा करता है। यदि शीर्ष दस्तावेज़ विषय से बाहर हैं, पुराने हैं या केवल शिथिल रूप से संबंधित हैं, तो मॉडल अक्सर वैसे भी उत्तर देता है। पेपर के डिज़ाइन में एक हल्का पुनर्प्राप्ति मूल्यांकनकर्ता, मूल कार्य में एक सुव्यवस्थित T5-बड़ा मॉडल जोड़ा गया है, जो प्रश्न की प्रासंगिकता के लिए प्रत्येक पुनर्प्राप्त दस्तावेज़ को स्कोर करता है। उन अंकों के आधार पर, सिस्टम तीन क्रियाओं में से एक को चुनता है। यदि कम से कम एक दस्तावेज़ को स्पष्ट रूप से प्रासंगिक माना जाता है, तो कार्रवाई सही है: दस्तावेज़ ज्ञान शोधन से गुजरते हैं, एक विघटित-फिर-पुनर्व्यवस्थित चरण जो उन्हें छोटी स्ट्रिप्स में विभाजित करता है, प्रत्येक स्ट्रिप को स्कोर करता है, और केवल उपयोगी रखता है। यदि सभी दस्तावेज़ कम स्कोर करते हैं, तो कार्रवाई गलत है: पुनर्प्राप्त दस्तावेज़ों को छोड़ दिया जाता है, प्रश्न को खोज-इंजन-शैली कीवर्ड में फिर से लिखा जाता है, और इसके बजाय वेब खोज परिणामों का उपयोग किया जाता है, फिर से परिष्कृत किया जाता है। यदि मूल्यांकनकर्ता अनिश्चित है, तो कार्रवाई अस्पष्ट है, और सिस्टम परिष्कृत आंतरिक ज्ञान को वेब परिणामों के साथ जोड़ता है। लेखकों ने सीआरएजी को प्लग-एंड-प्ले के रूप में प्रस्तुत किया: यह मानक आरएजी या सेल्फ-आरएजी जैसे अन्य तरीकों को लपेट सकता है, और उन्होंने कई शॉर्ट-फॉर्म और लॉन्ग-फॉर्म जेनरेशन बेंचमार्क पर सुधार की सूचना दी। व्यवहार में, कई टीमें मूल फाइन-ट्यून किए गए मूल्यांकनकर्ता के बिना सीआरएजी-शैली पाइपलाइनों को लागू करती हैं, प्रासंगिकता को ग्रेड करने के लिए एलएलएम प्रॉम्प्ट और चरणों के बीच रूट करने के लिए एक ग्राफ या एजेंट फ्रेमवर्क (लैंगग्राफ के पास एक प्रसिद्ध सीआरएजी ट्यूटोरियल) का उपयोग करती हैं। सामान्य ग़लतफ़हमियाँ: CRAG यह सत्यापित नहीं करता कि अंतिम उत्तर सही है; यह पुनर्प्राप्ति इनपुट को ग्रेड करता है। वेब खोज स्वचालित रूप से बेहतर नहीं है, क्योंकि यह निम्न-गुणवत्ता वाले स्रोत ला सकती है। और ग्रेडिंग प्रत्येक क्वेरी में विलंबता और लागत जोड़ती है।
वास्तविक विश्व कार्यान्वयन
एक कंपनी हेल्प-डेस्क बॉट माता-पिता की छुट्टी के बारे में एक प्रश्न के लिए तीन पॉलिसी खंड पुनर्प्राप्त करता है, ग्रेडर को कोई भी प्रासंगिक नहीं लगता है, और सिस्टम क्वेरी को फिर से लिखता है और गलत पॉलिसी से उत्तर देने के बजाय फिर से खोज करता है।
एक चिकित्सा-सूचना सहायक पुनर्प्राप्त अंशों को ग्रेड करता है, केवल उन वाक्यों को रखता है जिनमें उस दवा का उल्लेख होता है जिसके बारे में उपयोगकर्ता ने पूछा है, और उत्पन्न होने से पहले अन्य दवाओं के बारे में आसपास के पाठ को हटा देता है।
एक समाचार प्रश्नोत्तर उपकरण यह पता लगाता है कि उसके आंतरिक संग्रह में किसी हालिया घटना का कोई कवरेज नहीं है और वह वर्तमान लेखों के लिए वेब खोज पर वापस आ जाता है।
एक कानूनी अनुसंधान प्रोटोटाइप पुनर्प्राप्ति को अस्पष्ट के रूप में चिह्नित करता है जब दस्तावेज़ केवल आंशिक रूप से प्रासंगिक होते हैं, और उत्तर देने से पहले परिष्कृत आंतरिक अंशों को नए खोज परिणामों के साथ जोड़ते हैं।
सुधारात्मक आरएजी का भविष्य (सीआरएजी)
सीआरएजी विचार, पुनर्प्राप्ति गुणवत्ता की जांच करना और तदनुसार रूट करना, एजेंटिक आरएजी सिस्टम में एक सामान्य पैटर्न बन गया है, जहां एक मॉडल यह तय करता है कि फिर से पुनर्प्राप्त करना है, कहीं और खोजना है या उत्तर देना है। भविष्य के काम में सस्ते और बेहतर-कैलिब्रेटेड प्रासंगिकता मूल्यांकनकर्ताओं पर ध्यान केंद्रित करने और आउटपुट जांच के साथ इनपुट जांच के संयोजन पर ध्यान केंद्रित करने की संभावना है जैसे कि यह सत्यापित करना कि उत्तर रखे गए साक्ष्य द्वारा समर्थित है। विशिष्ट तीन-कार्य योजना समय के साथ व्यापक सिद्धांत की तुलना में कम मायने रख सकती है कि पुनर्प्राप्त संदर्भ का स्वचालित रूप से भरोसा करने के बजाय मूल्यांकन किया जाना चाहिए।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Corrective RAG (CRAG) quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
सुधारात्मक आरएजी (सीआरएजी) क्या है?
सुधारात्मक आरएजी (सीआरएजी) एक पुनर्प्राप्ति-संवर्धित पीढ़ी विधि है जो उत्तर देने से पहले जांचती है कि पुनर्प्राप्त दस्तावेज़ कितने प्रासंगिक हैं, और जब पुनर्प्राप्ति कमजोर दिखती है तो सुधारात्मक कार्रवाई करती है, जैसे दस्तावेज़ों को परिष्कृत करना, क्वेरी को फिर से लिखना या वेब पर खोज करना। यह मायने रखता है क्योंकि मानक आरएजी जो कुछ भी प्राप्त करता है उसे मॉडल में पास कर देता है, और अप्रासंगिक या भ्रामक दस्तावेज़ गलत, आत्मविश्वास से बताए गए उत्तरों का एक प्रमुख कारण हैं।
CRAG मानक RAG की किस मुख्य कमज़ोरी को संबोधित करता है?
मानक आरएजी प्रासंगिकता की परवाह किए बिना पुनर्प्राप्त दस्तावेज़ों को मॉडल में भेजता है, जो आत्मविश्वास से भरे गलत उत्तर दे सकता है। CRAG पहले पुनर्प्राप्ति का मूल्यांकन करता है।
मूल CRAG पेपर में, किस प्रकार का मॉडल पुनर्प्राप्ति मूल्यांकनकर्ता के रूप में कार्य करता था?
दस्तावेज़ की प्रासंगिकता को स्कोर करने के लिए पेपर ने हल्के वजन वाले फाइन-ट्यून किए गए T5-बड़े मॉडल का उपयोग किया।
जब सभी पुनर्प्राप्त दस्तावेज़ों का स्कोर कम होता है तो CRAG क्या करता है?
गलत कार्रवाई दस्तावेज़ों को खारिज कर देती है, प्रश्न को खोज क्वेरी में फिर से लिख देती है और परिष्कृत वेब परिणामों पर निर्भर करती है।
विघटित-फिर-पुन: विघटित चरण का उद्देश्य क्या है?
ज्ञान शोधन दस्तावेज़ों को छोटी-छोटी पट्टियों में तोड़ता है, उन्हें स्कोर करता है, और जनरेटर के लिए केवल उपयोगी भागों को पुन: संयोजित करता है।
जब मूल्यांकनकर्ता प्रासंगिकता के बारे में अनिश्चित होता है, तो CRAG कौन सी कार्रवाई करता है?
मूल्यांकनकर्ता के निर्णय में अनिश्चितता से बचाव के लिए अस्पष्ट कार्रवाई दोनों स्रोतों को मिश्रित करती है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं