तकनीकी गाइड

RAG मूल्यांकन मेट्रिक्स और RAGAS

आरएजी मूल्यांकन एक पुनर्प्राप्ति-संवर्धित पीढ़ी प्रणाली को पुनर्प्राप्ति और पीढ़ी पर अलग-अलग स्कोर करता है, आमतौर पर चार मेट्रिक्स के साथ: विश्वसनीयता, उत्तर प्रासंगिकता, संदर्भ परिशुद्धता और संदर्भ स्मरण।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर3 मिनट लाल
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. RAG मूल्यांकन मेट्रिक्स और RAGAS का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

RAGAS एक ओपन-सोर्स फ्रेमवर्क है जो इन मेट्रिक्स की गणना करता है, बड़े पैमाने पर जज के रूप में एलएलएम का उपयोग करता है। अलग-अलग अंक मायने रखते हैं क्योंकि वे दिखाते हैं कि गलत उत्तर गलत अनुच्छेद लाने से आया या सही अंश का दुरुपयोग करने से।

गहरा गोता

एक आरएजी प्रणाली दो स्थानों पर विफल हो सकती है: पुनर्प्राप्ति गलत मार्ग ला सकती है, या पीढ़ी सही मार्ग को अनदेखा या विकृत कर सकती है। एक समग्र गुणवत्ता स्कोर छुपाता है कि क्या हुआ, इसलिए आरएजी मूल्यांकन पाइपलाइन को मापने योग्य भागों में विभाजित करता है। RAGAS, Es और सहकर्मियों द्वारा 2023 के पेपर में पेश किया गया एक ओपन-सोर्स फ्रेमवर्क, ने कोर मेट्रिक्स के एक सेट को लोकप्रिय बनाया जो दोनों हिस्सों को कवर करता है। फेथफुलनेस पूछती है कि क्या उत्तर में प्रत्येक दावा पुनर्प्राप्त संदर्भ द्वारा समर्थित है; यह मतिभ्रम तब भी पकड़ता है जब उत्तर प्रशंसनीय लगता है। उत्तर प्रासंगिकता पूछती है कि क्या उत्तर वास्तव में प्रश्न को संबोधित करता है, टालमटोल करने वाले या गद्देदार उत्तरों को दंडित करता है। संदर्भ परिशुद्धता यह पूछती है कि क्या पुनर्प्राप्त किए गए टुकड़े शोर के बीच दबे होने के बजाय शीर्ष पर हैं। कॉन्टेक्स्ट रिकॉल पूछता है कि क्या पुनर्प्राप्त संदर्भ में संदर्भ उत्तर देने के लिए आवश्यक सभी चीजें शामिल हैं, इसलिए इसे प्रत्येक परीक्षण प्रश्न के लिए जमीनी सच्चाई वाले उत्तर की आवश्यकता होती है। इनमें से अधिकांश अंकों की गणना न्यायाधीश के रूप में कार्य करने वाले एलएलएम द्वारा की जाती है, जिन्हें छोटे चरणों में विभाजित किया जाता है। विश्वसनीयता के लिए, न्यायाधीश उत्तर से अलग-अलग बयान निकालता है और संदर्भ के अनुसार प्रत्येक की जाँच करता है; स्कोर समर्थित अंश है. उत्तर की प्रासंगिकता के लिए, RAGAS ऐसे प्रश्न उत्पन्न करता है जिनका उत्तर उत्तर देगा और एम्बेडिंग का उपयोग करके उनकी तुलना मूल प्रश्न से करता है। इसी तरह के विचार अन्य टूल में दिखाई देते हैं, जैसे कि ट्रूलेन्स आरएजी ट्रायड (संदर्भ प्रासंगिकता, ग्राउंडेडनेस और उत्तर प्रासंगिकता) और डीपएवल। दो ग़लतफ़हमियाँ आम हैं. सबसे पहले, वफादार का मतलब सही नहीं है: एक उत्तर ईमानदारी से किसी पुराने या गलत दस्तावेज़ को दोहरा सकता है। दूसरा, एलएलएम-जज स्कोर जमीनी सच्चाई नहीं हैं। वे जज मॉडल और प्रॉम्प्ट के साथ भिन्न होते हैं, इसलिए टीमें उन्हें मानव लेबल के विरुद्ध स्पॉट-चेक करती हैं और 0.85 जैसे स्कोर को पूर्ण ग्रेड के रूप में मानने के बजाय समान सेटिंग्स के तहत सिस्टम की तुलना करती हैं।

वास्तविक विश्व कार्यान्वयन

एक बैंक के नीति सहायक को संदर्भ स्मरण पर 0.95 अंक मिलते हैं, लेकिन विश्वसनीयता पर 0.70 अंक मिलते हैं, जो बताता है कि टीम पुनर्प्राप्ति ठीक है और मॉडल असमर्थित विवरण जोड़ रहा है, इसलिए वे सूचकांक को फिर से बनाने के बजाय संकेत को कड़ा कर देते हैं।

एक सहायता टीम एक ही 200-प्रश्न परीक्षण सेट पर दो एम्बेडिंग मॉडल की तुलना करती है और एक को उच्च संदर्भ स्मरण और संदर्भ परिशुद्धता के साथ रखती है।

एक अस्पताल ज्ञान उपकरण वास्तविक प्रश्नों के दैनिक नमूने पर ईमानदारी से स्कोरिंग चलाता है और पैटर्न फैलने से पहले मानव समीक्षा के लिए असमर्थित दावों के साथ उत्तरों को चिह्नित करता है।

एक स्टार्टअप उच्च संदर्भ रिकॉल लेकिन कम संदर्भ परिशुद्धता को देखने के बाद एक पुनर्रैंकर जोड़ता है, जिसका अर्थ है कि सही हिस्सों को पुनर्प्राप्त किया गया था लेकिन अप्रासंगिक लोगों से नीचे रैंक किया गया था।

RAG मूल्यांकन मेट्रिक्स और RAGAS का भविष्य

आरएजी मूल्यांकन कभी-कभार ऑफ़लाइन रिपोर्ट से निरंतर जांच की ओर स्थानांतरित हो रहा है, जहां उत्पादन ट्रैफ़िक का एक नमूना स्कोर किया जाता है और प्रतिगमन अलर्ट ट्रिगर करता है। फ़्रेमवर्क मल्टी-टर्न वार्तालापों, एजेंटों और टूल के उपयोग के लिए मेट्रिक्स जोड़ रहे हैं, और लाइब्रेरी संस्करणों के बीच मीट्रिक परिभाषाएँ बदलती रहती हैं, इसलिए तुलनीय परिणामों के लिए संस्करणों को पिन करना मायने रखता है। सबसे बड़ा खुला मुद्दा न्यायाधीश की विश्वसनीयता है: एलएलएम न्यायाधीश लंबे उत्तरों का पक्ष लेने जैसे पूर्वाग्रह दिखा सकते हैं, और मानव समीक्षकों के साथ समझौता डोमेन के अनुसार भिन्न होता है। छोटे मानव-लेबल सेटों के विरुद्ध न्यायाधीशों को कैलिब्रेट करना और उन्हें नियतात्मक पुनर्प्राप्ति मेट्रिक्स के साथ जोड़ना अच्छा अभ्यास बने रहने की संभावना है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the RAG Evaluation Metrics and RAGAS quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

RAG मूल्यांकन मेट्रिक्स और RAGAS क्या है?

आरएजी मूल्यांकन एक पुनर्प्राप्ति-संवर्धित पीढ़ी प्रणाली को पुनर्प्राप्ति और पीढ़ी पर अलग-अलग स्कोर करता है, आमतौर पर चार मेट्रिक्स के साथ: विश्वसनीयता, उत्तर प्रासंगिकता, संदर्भ परिशुद्धता और संदर्भ स्मरण। RAGAS एक ओपन-सोर्स फ्रेमवर्क है जो इन मेट्रिक्स की गणना करता है, बड़े पैमाने पर जज के रूप में एलएलएम का उपयोग करता है। अलग-अलग अंक मायने रखते हैं क्योंकि वे दिखाते हैं कि गलत उत्तर गलत अनुच्छेद लाने से आया या सही अंश का दुरुपयोग करने से।

कौन सा मीट्रिक यह जांचता है कि उत्तर में प्रत्येक दावा पुनर्प्राप्त संदर्भ द्वारा समर्थित है या नहीं?

वफ़ादारी संदर्भ द्वारा समर्थित उत्तर दावों के अंश को मापती है, जो मतिभ्रम को लक्षित करती है।

इनमें से किस मेट्रिक्स के लिए प्रत्येक परीक्षण प्रश्न के लिए जमीनी सच्चाई के संदर्भ उत्तर की आवश्यकता होती है?

संदर्भ स्मरण यह जाँचता है कि क्या पुनर्प्राप्त संदर्भ में वह है जो संदर्भ उत्तर के लिए आवश्यक है, इसलिए एक संदर्भ मौजूद होना चाहिए।

संदर्भ परिशुद्धता क्या मापती है?

संदर्भ परिशुद्धता पुरस्कार उपयोगी टुकड़ों को अप्रासंगिक लोगों के बीच दफनाने के बजाय रैंकिंग में ऊपर रखती है।

RAGAS उत्तर प्रासंगिकता का अनुमान कैसे लगाता है?

यदि उत्तर से उत्पन्न प्रश्न वास्तविक प्रश्न से मिलते जुलते हैं, तो उत्तर विषय पर है; एंबेडिंग्स उस समानता को मापते हैं।

एक सिस्टम उच्च संदर्भ स्मरण लेकिन कम संदर्भ परिशुद्धता दिखाता है। सबसे संभावित समाधान क्या है?

सही हिस्से को पुनः प्राप्त किया जा रहा है, लेकिन खराब तरीके से रैंक किया गया है, जो एक रैंकिंग समस्या है जिसे पुनर्रैंकर अक्सर संबोधित करता है।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →