तकनीकी गाइड
रिट्रीवल मेट्रिक्स: रिकॉल@K, MRR और nDCG
Recall@K मापता है कि कितने ज्ञात प्रासंगिक आइटम शीर्ष K परिणामों में दिखाई देते हैं, MRR पहले प्रासंगिक आइटम की रैंक पर ज़ोर देता है, और nDCG ग्रेडेड प्रासंगिकता के साथ पोजीशन डिस्काउंट का उपयोग करके रैंकिंग गुणवत्ता का मूल्यांकन करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर3 मिनट लाल
सिंहावलोकन
प्रत्येक मीट्रिक अलग-अलग निर्णय और उपयोग मामलों को दर्शाता है, और कोई भी सीधे यह नहीं मापता कि उत्पन्न उत्तर सही है या नहीं।
गहरा गोता
Retrieval evaluation starts with queries, a document collection, and relevance judgments. A metric summarizes how a ranked result list compares with those judgments. Recall@K asks what fraction of relevant items appear within the first K results. It is useful when finding all relevant evidence matters, but it ignores the ordering among those retrieved items. Mean reciprocal rank (MRR) scores the rank of the first relevant result: a relevant item at rank one contributes 1, at rank two contributes one-half, and so on; query scores are averaged. This fits tasks where users mainly need one good result near the top. It does not reward additional relevant results after the first. Normalized discounted cumulative gain (nDCG) uses relevance grades and discounts items lower in the ranking. It can distinguish highly relevant from partially relevant documents and rewards placing stronger matches earlier. The exact gain and discount conventions should be documented when comparing implementations. These formulas summarize judged rankings and do not measure answer generation or user satisfaction. These measures depend on a test collection and relevance labels. Incomplete judgments can make a relevant but unjudged result look wrong, and query selection affects conclusions. For retrieval-augmented generation, report retrieval metrics separately from answer-level grounding, correctness, and usefulness. Choose metrics that match the product goal, inspect examples, and evaluate on representative queries rather than selecting whichever score looks largest.
वास्तविक विश्व कार्यान्वयन
एक कानूनी खोज टीम Review के लिए सबसे अधिक ज्ञात प्रासंगिक अनुच्छेदों को प्रदर्शित करने की आवश्यकता होने पर Recall@20 का उपयोग करती है।
एक हेल्प सेंटर तब MRR को ट्रैक करता है जब उपयोगकर्ताओं को शीर्ष के पास एक उपयोगी उत्तर चाहिए होता है।
एक रीकमेंडर ग्रेडेड प्रासंगिकता लेबल और nDCG का उपयोग करके पहले अधिक मजबूत मैचों को प्राथमिकता देता है।
एक RAG मूल्यांकन रीट्रिवल रिकॉल को इस बात से अलग रिपोर्ट करता है कि उत्पन्न उत्तर समर्थित है या नहीं।
रीट्रिवल मीट्रिक्स का भविष्य: Recall@K, MRR और nDCG
रिट्रीवल सिस्टम्स धीरे-धीरे लेक्सिकल, वेक्टर, हाइब्रिड और रीरैंकिंग चरणों को संयोजित करेंगे, जिससे चरण-विशिष्ट मूल्यांकन महत्वपूर्ण हो जाएगा। बेहतर प्रासंगिकता निर्णय और कार्य-संरेखित ग्रेडेड लेबल nDCG को अधिक उपयोगी बना सकते हैं, जबकि उपयोगकर्ता अध्ययन यह परीक्षण कर सकते हैं कि रैंक लाभ परिणामों में सुधार करते हैं या नहीं। RAG मूल्यांकन रिट्रीवल मेट्रिक्स को उत्तर-स्तरीय जाँच के साथ जोड़ता रहेगा। भविष्य के बेंचमार्क को क्वेरी सेट, निर्णय, मेट्रिक सेटिंग्स और सीमाएँ प्रकाशित करनी चाहिए ताकि सार्थक तुलना का समर्थन हो सके। टीमों को समय के साथ संग्रह और उपयोगकर्ता आवश्यकताओं में बदलाव के अनुसार सभी संबंधित उपयोगकर्ताओं के लिए लगातार निर्णयों को पुनः देखना चाहिए।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
रिट्रीवल मेट्रिक्स: Recall@K, MRR और nDCG क्विज़
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
Recall@K, MRR और nDCG क्या हैं?
Recall@K मापता है कि कितने ज्ञात प्रासंगिक आइटम शीर्ष K परिणामों में दिखाई देते हैं, MRR पहले प्रासंगिक आइटम के रैंक पर जोर देता है, और nDCG ग्रेडेड प्रासंगिकता के साथ स्थिति छूट का उपयोग करके रैंकिंग गुणवत्ता का मूल्यांकन करता है। प्रत्येक मेट्रिक अलग-अलग निर्णयों और उपयोग मामलों को दर्शाता है, और कोई भी सीधे यह नहीं मापता कि उत्पन्न उत्तर सही है।
Recall@K क्या मापता है?
कटऑफ पर रिकॉल शीर्ष K में प्रासंगिक-आइटम कवरेज को मापता है।
Recall@K स्वयं क्या भेद नहीं कर पाता?
Recall@K कटऑफ पर कवरेज को मापता है, उन परिणामों के भीतर क्रम को नहीं।
अपूर्ण प्रासंगिकता निर्णय रिट्रीवल मेट्रिक्स को क्यों विकृत कर सकते हैं?
मेट्रिक्स जज्ड संग्रह पर निर्भर करते हैं और अनजज्ड सकारात्मक को दंडित कर सकते हैं।
क्या उच्च रिट्रीवल Recall@K यह साबित करता है कि एक RAG उत्तर सही है?
रिकवरी और उत्तर उत्पन्न करना अलग-अलग मूल्यांकन चरण हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं