तकनीकी गाइड
रूज और ब्लू मूल्यांकन मेट्रिक्स
ROUGE और BLEU मानव संदर्भों के विरुद्ध मशीन-जनित पाठ की तुलना करने के लिए वर्कहॉर्स स्वचालित मेट्रिक्स हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
गहरा गोता
दोनों मेट्रिक्स एक उम्मीदवार पाठ और एक या अधिक संदर्भ ग्रंथों के बीच एन-ग्राम ओवरलैप को मापते हैं, लेकिन वे विभिन्न दिशाओं पर जोर देते हैं। BLEU (द्विभाषी मूल्यांकन अंडरस्टूडी) संशोधित एन-ग्राम परिशुद्धता (आमतौर पर 1- से 4-ग्राम) की गणना करता है, उन्हें ज्यामितीय रूप से गुणा करता है, और एक संक्षिप्तता जुर्माना लागू करता है ताकि सिस्टम बहुत कम आउटपुट उत्पन्न करके स्कोर को गेम न कर सके। रूज (रिकॉल-ओरिएंटेड अंडरस्टडी फॉर गिस्टिंग इवैल्यूएशन) इसके बजाय रिकॉल का समर्थन करता है: रूज-एन ओवरलैपिंग एन-ग्राम की गणना करता है, रूज-एल आकस्मिकता की आवश्यकता के बिना इन-ऑर्डर मैचों को पुरस्कृत करने के लिए सबसे लंबे सामान्य अनुक्रम का उपयोग करता है। BLEU पूछता है 'सिस्टम ने जो कहा वह कितना सही है?' जबकि ROUGE पूछता है 'सिस्टम ने कितना संदर्भ कैप्चर किया?'। दोनों सस्ते और प्रतिलिपि प्रस्तुत करने योग्य हैं, लेकिन केवल सतही शब्द ओवरलैप देखते हैं, व्याख्या और अर्थ गायब हैं।
वास्तविक विश्व कार्यान्वयन
मशीनी अनुवाद शोधकर्ता सिस्टम गुणवत्ता की तुलना करने के लिए WMT बेंचमार्क पर BLEU स्कोर की रिपोर्ट करते हैं
सारांश पेपर सीएनएन/डेलीमेल डेटासेट पर ROUGE-1, ROUGE-2, और ROUGE-L की रिपोर्ट करते हैं
एक इंजीनियरिंग टीम अनुवाद मॉडल को ठीक करते समय प्रतिगमन का पता लगाने के लिए सीआई में BLEU को ट्रैक करती है
एक सारांशीकरण उत्पाद महंगा मानव मूल्यांकन चलाने से पहले एक सस्ते स्वचालित जांच के रूप में ROUGE-L का उपयोग करता है
ROUGE और BLEU मूल्यांकन मेट्रिक्स का भविष्य
क्योंकि एन-ग्राम मेट्रिक्स सटीक शब्द मिलान को पुरस्कृत करते हैं, वे वैध पैराफ्रेज़ और धाराप्रवाह पुनर्लेखन को कम महत्व देते हैं, एलएलएम आउटपुट के रूप में एक बढ़ती हुई समस्या संदर्भों से शाब्दिक रूप से भिन्न होती है। BERTScore जैसे एंबेडिंग-आधारित मेट्रिक्स और BLEURT और COMET जैसे सीखे गए मेट्रिक्स, साथ ही LLM-ए-जज मूल्यांकन, तेजी से उन्हें पूरक या प्रतिस्थापित कर रहे हैं। फिर भी, ROUGE और BLEU लगभग हर पेपर में रिपोर्ट की गई तेज़, पारदर्शी आधार रेखाएँ बनी हुई हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the ROUGE and BLEU Evaluation Metrics quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is ROUGE and BLEU Evaluation Metrics?
ROUGE और BLEU मानव संदर्भों के विरुद्ध मशीन-जनित पाठ की तुलना करने के लिए वर्कहॉर्स स्वचालित मेट्रिक्स हैं। BLEU अनुवाद के लिए बनाया गया था और परिशुद्धता पर आधारित था; ROUGE को संक्षेपण और स्मरण पर आधारित होने के लिए बनाया गया था।
कौन सी मीट्रिक मूल रूप से मशीनी अनुवाद के लिए डिज़ाइन की गई थी और सटीकता पर जोर देती है?
BLEU को अनुवाद के लिए बनाया गया था और यह संक्षिप्तता दंड के साथ संशोधित एन-ग्राम परिशुद्धता पर आधारित है।
ROUGE मुख्य रूप से किस ओर उन्मुख है?
ROUGE का मतलब रिकॉल-ओरिएंटेड अंडरस्टडी फॉर गिस्टिंग इवैल्यूएशन है और इस बात पर जोर देता है कि संदर्भ का कितना हिस्सा कैप्चर किया गया है।
BLEU का संक्षिप्तता दंड क्या रोकता है?
जब उम्मीदवार संदर्भ से छोटा होता है तो संक्षिप्तता दंड BLEU को कम कर देता है, जिससे सिस्टम को संक्षिप्त आउटपुट के साथ सटीकता बढ़ाने से रोक दिया जाता है।
रूज-एल क्या मापता है?
रूज-एल सबसे लंबे सामान्य अनुवर्ती का उपयोग करता है, अंतराल की अनुमति देते हुए इन-ऑर्डर मैचों को पुरस्कृत करता है।
BLEU और ROUGE दोनों की प्रमुख साझा सीमा क्या है?
दोनों सटीक शब्द/एन-ग्राम मिलान पर भरोसा करते हैं, इसलिए वे मान्य पैराफ्रेश को कम महत्व देते हैं जो संदर्भ से शाब्दिक रूप से भिन्न होते हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं