ROUGE ati BLEU Igbelewọn Metiriki
ROUGE ati BLEU jẹ awọn metiriki adaṣe adaṣe iṣẹ fun ifiwera ọrọ ti ipilẹṣẹ ẹrọ si awọn itọkasi eniyan.
Akopọ
BLEU ni itumọ ti fun itumọ ati gbigbe ara lori konge; ROUGE ti a ṣe fun akopọ ati gbigbe ara lori iranti.
Jin Dive
Mejeeji metiriki wọn n-gram ni lqkan laarin ọrọ oludije ati ọkan tabi diẹ ẹ sii awọn ọrọ itọkasi, ṣugbọn wọn tẹnuba awọn itọnisọna oriṣiriṣi. BLEU (Oye Igbelewọn Bilingual) ṣe iṣiro iyipada n-gram konge (eyiti o jẹ 1-nipasẹ 4-giramu), ṣe isodipupo wọn ni jiometirika, ati pe o kan ijiya kukuru kan nitori pe eto ko le ṣe ere naa nipa ṣiṣe iṣelọpọ kukuru pupọ. ROUGE (Oye-Oorun ÌRÁNTÍ fun Igbelewọn Gisting) dipo ṣe iranti iranti: ROUGE-N ka awọn n-grams agbekọja, ROUGE-L nlo atẹle ti o wọpọ ti o gunjulo lati san awọn ere-aṣẹ aṣẹ lai nilo contiguity. BLEU beere ' melo ni ohun ti eto naa sọ pe o tọ?' nigba ti ROUGE béèrè 'bi o Elo ti awọn itọkasi ni eto Yaworan?'. Mejeji jẹ olowo poku ati atunṣe ṣugbọn wo nikan ọrọ dada ni lqkan, sonu paraphrase ati itumo.
Imọ-imọ-ẹrọ
BLEU ká títúnṣe konge awọn agekuru kọọkan oludije n-gram ka si awọn oniwe-o pọju kika ni eyikeyi itọkasi, idilọwọ awọn ere atunwi; ifiyaje kukuru ti n wọle nigbati iṣẹjade ba kuru ju itọkasi lọ. ROUGE-L ti o gunjulo-wọpọ-atẹle-tẹle gba igbekalẹ-ipele gbolohun ọrọ ati aṣẹ ọrọ lakoko gbigba awọn ela, ati ROUGE nigbagbogbo ṣe ijabọ F1 ni apapọ pipe ati iranti.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti ROUGE ati Awọn iṣiro Igbelewọn BLEU
Nitori awọn metiriki n-gram san ere awọn ibaamu ọrọ gangan, wọn ko ni idiyele awọn alaye asọye ti o wulo ati awọn atunkọ ti o lọra, iṣoro ti ndagba bi awọn abajade LLM ṣe yato ni ọna kika lati awọn itọkasi. Awọn metiriki ti o da lori ifibọ bii BERTScore ati awọn metiriki ikẹkọ bii BLEURT ati COMET, pẹlu igbelewọn LLM-bi-idajọ, n pọ si tabi rọpo wọn. Sibẹsibẹ, ROUGE ati BLEU tẹsiwaju bi iyara, awọn ipilẹ ti o han gbangba ti o royin ni o fẹrẹ to gbogbo iwe.
Real-World imuse
Awọn oniwadi itumọ ẹrọ ṣe ijabọ awọn ikun BLEU lori awọn ipilẹ WMT lati ṣe afiwe didara eto
Awọn iwe akopọ ṣe ijabọ ROUGE-1, ROUGE-2, ati ROUGE-L lori dataset CNN/DailyMail
Ẹgbẹ imọ-ẹrọ kan tọpa BLEU ni CI lati ṣawari awọn ipadasẹhin nigbati o ba ṣatunṣe awoṣe itumọ daradara
Ọja akopọ kan nlo ROUGE-L gẹgẹbi ayẹwo afọwọṣe olowo poku ṣaaju ṣiṣe igbelewọn eniyan ti o niyelori
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ROUGE and BLEU Evaluation Metrics quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ṣiṣayẹwo Laini ati Igbelewọn Ẹya Tio tutunini
Awọn ibeere ti a beere nigbagbogbo
Kini ROUGE ati Awọn Metiriki Igbelewọn BLEU?
ROUGE ati BLEU jẹ awọn metiriki adaṣe adaṣe iṣẹ fun ifiwera ọrọ ti ipilẹṣẹ ẹrọ si awọn itọkasi eniyan. BLEU ni itumọ ti fun itumọ ati gbigbe ara lori konge; ROUGE ti a ṣe fun akopọ ati gbigbe ara lori iranti.
Metiriki wo ni a ṣe ni akọkọ fun itumọ ẹrọ ti o tẹnu mọ pipe?
A ṣẹda BLEU fun itumọ ati pe o da lori iṣedede n-gram ti a ṣe atunṣe pẹlu ijiya kukuru kan.
Kini ROUGE ni iṣalaye akọkọ si?
ROUGE dúró fún Ìkẹ́kọ̀ọ́ ÌRÁNTÍ-ÌRÁNTÍ fún Igbelewọn Gisting ati tẹnumọ iye itọkasi ti a mu.
Kini ijiya kukuru ti BLEU ṣe idiwọ?
Ijiya kukuru naa dinku BLEU nigbati oludije kuru ju itọkasi lọ, idaduro awọn ọna ṣiṣe lati fifẹ konge pẹlu iṣelọpọ terse.
Kini iwọn ROUGE-L?
ROUGE-L nlo atẹle ti o wọpọ ti o gunjulo, awọn ere-iṣere ni ere lakoko gbigba awọn ela.
Kini aropin pinpin bọtini ti mejeeji BLEU ati ROUGE?
Mejeeji da lori ibaramu ọrọ gangan/n-gram, nitorinaa wọn ṣe iyeye awọn alaye asọye ti o wulo ti o yatọ lexically lati itọkasi.