ROUGE እና BLEU የግምገማ መለኪያዎች መመሪያ

አጠቃላይ እይታ

BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.

ጥልቅ ዳይቭ

ሁለቱም መለኪያዎች የn-gram መደራረብን በእጩ ጽሑፍ እና በአንድ ወይም ከዚያ በላይ በሆኑ የማጣቀሻ ጽሑፎች መካከል ይለካሉ፣ ነገር ግን የተለያዩ አቅጣጫዎችን ያጎላሉ። BLEU (የሁለት ቋንቋ ምዘና ተማሪ) የተሻሻለ የn-gram ትክክለኛነትን (በተለምዶ ከ1 እስከ 4-ግራም) ያሰላል፣ በጂኦሜትሪ ያባዛቸዋል፣ እና አጭር ቅጣት ስለሚተገበር ስርዓቱ በጣም አጭር ውጤት በማምረት ውጤቱን ማጫወት አይችልም። ROUGE (የማስታወሻ-ተኮር ትምህርት ለጂስቲንግ ምዘና) በምትኩ ማስታወስን ይደግፋሉ፡ ROUGE-N ተደራቢ n-grams ይቆጥራል፣ ROUGE-L በቅደም ተከተል ተዛማጆችን ሳይፈልጉ ለመሸለም ረጅሙን የተለመደ ተከታይ ይጠቀማል። BLEU 'ስርአቱ ከተናገረው ውስጥ ምን ያህሉ ትክክል ነው?' ROUGE 'ሲስተሙ ምን ያህል ማመሳከሪያውን እንደያዘ?' ሁለቱም ርካሽ እና ሊባዙ የሚችሉ ናቸው ነገር ግን የገጽታ ቃል መደራረብን፣ የጎደሉትን ትርጓሜ እና ትርጉም ብቻ ይመልከቱ።

ቴክኒካዊ ግንዛቤ

የ BLEU የተሻሻለ ትክክለኛ ቅንጥቦች እያንዳንዱ እጩ n-gram በማንኛውም ማጣቀሻ ውስጥ ከፍተኛውን ቆጠራ ይቆጥራል ፣ ይህም ተደጋጋሚ ጨዋታዎችን ይከላከላል። ውጤቱ ከማጣቀሻው ባነሰ ጊዜ አጭር ቅጣት ይጀምራል። የROUGE-L በጣም ረጅሙ-የተለመደ ተከታይ የዓረፍተ ነገር አወቃቀሩን እና የቃላትን ቅደም ተከተል ይይዛል ክፍተቶችን በሚፈቅዱበት ጊዜ እና ROUGE ብዙ ጊዜ F1 ትክክለኛነትን እና ማስታወስን አጣምሮ ሪፖርት ያደርጋል።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የወደፊት የROUGE እና BLEU ግምገማ መለኪያዎች

የ n-ግራም ሜትሪክስ ትክክለኛ የቃላት ግጥሚያዎችን ስለሚሸልማቸው ትክክለኛ የትርጉም ሀረጎችን እና አቀላጥፎ እንደገና መፃፍ ዋጋቸውን ዝቅ ያደርጋሉ። እንደ BERTScore ያሉ መለኪያዎችን ማካተት እና እንደ BLEURT እና COMET ያሉ የተማሩ መለኪያዎች፣ እና LLM-እንደ ዳኛ ግምገማ፣ እየጨመረ ይጨምሯቸዋል ወይም ይተኩዋቸው። አሁንም፣ ROUGE እና BLEU በፍጥነት ይቀጥላሉ፣ ግልጽነት ያላቸው የመነሻ መስመሮች በእያንዳንዱ ወረቀት ማለት ይቻላል።

የእውነተኛ-ዓለም አተገባበር

የማሽን ትርጉም ተመራማሪዎች የስርዓት ጥራትን ለማነፃፀር የ BLEU ውጤቶችን በ WMT ቤንችማርኮች ላይ ሪፖርት አድርገዋል

የማጠቃለያ ወረቀቶች ROUGE-1፣ ROUGE-2 እና ROUGE-L በ CNN/DailyMail ዳታ ስብስብ ላይ ሪፖርት አድርገዋል።

የኢንጂነሪንግ ቡድን የትርጉም ሞዴልን በጥሩ ሁኔታ ሲያስተካክል በCI ውስጥ BLEUን ይከታተላል

የማጠቃለያ ምርት ROUGE-Lን እንደ ርካሽ አውቶማቲክ ፍተሻ ይጠቀማል ውድ የሰው ልጅ ግምገማን ከማካሄድዎ በፊት

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the ROUGE and BLEU Evaluation Metrics quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

መስመራዊ ምርመራ እና የቀዘቀዘ የባህሪ ግምገማ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is ROUGE and BLEU Evaluation Metrics?

ROUGE እና BLEU በማሽን የመነጨ ጽሑፍን ከሰው ማጣቀሻዎች ጋር ለማነፃፀር የስራ ፈረስ አውቶማቲክ መለኪያዎች ናቸው። BLEU ለትርጉም የተገነባ እና በትክክለኛነት ላይ የተመሰረተ ነው; ROUGE ለማጠቃለል ነው የተሰራው እና ለማስታወስ ያደገ ነው።

በመጀመሪያ ለማሽን ትርጉም የተነደፈው እና ትክክለኛነትን የሚያጎላ የትኛው መለኪያ ነው?

BLEU ለትርጉም የተፈጠረ ነው እና በተሻሻለው n-gram ትክክለኛነት ከአጭር ቅጣት ጋር የተመሰረተ ነው።

ROUGE በዋናነት ያተኮረው ምንድን ነው?

ROUGE ትዝታ ተኮር ምዘና ማለት ሲሆን ምን ያህል ማጣቀሻው እንደተያዘ አጽንዖት ይሰጣል።

የ BLEU አጭር ቅጣት ምን ይከላከላል?

እጩው ከማጣቀሻው አጭር በሚሆንበት ጊዜ የአጭር ጊዜ ቅጣቱ BLEU ን ይቀንሳል፣ ይህም ስርዓቶች ከትክክለኛው ውጤት ጋር ትክክለኛነት እንዳይጨምሩ ያደርጋል።

ROUGE-L ምን ይለካል?

ROUGE-L ክፍተቶችን በሚፈቅድበት ጊዜ በቅደም ተከተል ግጥሚያዎችን የሚክስ ረጅሙን የተለመደ ተከታይ ይጠቀማል።

የሁለቱም BLEU እና ROUGE ቁልፍ የጋራ ገደብ ምንድን ነው?

ሁለቱም በትክክለኛ ቃል/n-ግራም ማዛመጃ ላይ ስለሚመሰረቱ ከማጣቀሻው በቃላት የሚለያዩ ትክክለኛ ትርጉሞችን ዝቅ ያደርጋሉ።