Up tókànItọsọna atẹle
Awọn Metiriki Igbelewọn RAG ati RAGAS
Imọ-ẹrọ
Imọ Itọsọna
ROUGE ati BLEU Igbelewọn Metiriki
ROUGE ati BLEU jẹ awọn metiriki adaṣe adaṣe iṣẹ fun ifiwera ọrọ ti ipilẹṣẹ ẹrọ si awọn itọkasi eniyan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
BLEU ni itumọ ti fun itumọ ati gbigbe ara lori konge; ROUGE ti a ṣe fun akopọ ati gbigbe ara lori iranti.
Jin Dive
Mejeeji metiriki wọn n-gram ni lqkan laarin ọrọ oludije ati ọkan tabi diẹ ẹ sii awọn ọrọ itọkasi, ṣugbọn wọn tẹnuba awọn itọnisọna oriṣiriṣi. BLEU (Oye Igbelewọn Bilingual) ṣe iṣiro iyipada n-gram konge (eyiti o jẹ 1-nipasẹ 4-giramu), ṣe isodipupo wọn ni jiometirika, ati pe o kan ijiya kukuru kan nitori pe eto ko le ṣe ere naa nipa ṣiṣe iṣelọpọ kukuru pupọ. ROUGE (Oye-Oorun ÌRÁNTÍ fun Igbelewọn Gisting) dipo ṣe iranti iranti: ROUGE-N ka awọn n-grams agbekọja, ROUGE-L nlo atẹle ti o wọpọ ti o gunjulo lati san awọn ere-aṣẹ aṣẹ lai nilo contiguity. BLEU beere ' melo ni ohun ti eto naa sọ pe o tọ?' nigba ti ROUGE béèrè 'bi o Elo ti awọn itọkasi ni eto Yaworan?'. Mejeji jẹ olowo poku ati atunṣe ṣugbọn wo nikan ọrọ dada ni lqkan, sonu paraphrase ati itumo.
Real-World imuse
Awọn oniwadi itumọ ẹrọ ṣe ijabọ awọn ikun BLEU lori awọn ipilẹ WMT lati ṣe afiwe didara eto
Awọn iwe akopọ ṣe ijabọ ROUGE-1, ROUGE-2, ati ROUGE-L lori dataset CNN/DailyMail
Ẹgbẹ imọ-ẹrọ kan tọpa BLEU ni CI lati ṣawari awọn ipadasẹhin nigbati o ba ṣatunṣe awoṣe itumọ daradara
Ọja akopọ kan nlo ROUGE-L gẹgẹbi ayẹwo afọwọṣe olowo poku ṣaaju ṣiṣe igbelewọn eniyan ti o niyelori
Ọjọ iwaju ti ROUGE ati Awọn iṣiro Igbelewọn BLEU
Nitori awọn metiriki n-gram san ere awọn ibaamu ọrọ gangan, wọn ko ni idiyele awọn alaye asọye ti o wulo ati awọn atunkọ ti o lọra, iṣoro ti ndagba bi awọn abajade LLM ṣe yato ni ọna kika lati awọn itọkasi. Awọn metiriki ti o da lori ifibọ bii BERTScore ati awọn metiriki ikẹkọ bii BLEURT ati COMET, pẹlu igbelewọn LLM-bi-idajọ, n pọ si tabi rọpo wọn. Sibẹsibẹ, ROUGE ati BLEU tẹsiwaju bi iyara, awọn ipilẹ ti o han gbangba ti o royin ni o fẹrẹ to gbogbo iwe.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the ROUGE and BLEU Evaluation Metrics quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini ROUGE ati Awọn Metiriki Igbelewọn BLEU?
ROUGE ati BLEU jẹ awọn metiriki adaṣe adaṣe iṣẹ fun ifiwera ọrọ ti ipilẹṣẹ ẹrọ si awọn itọkasi eniyan. BLEU ni itumọ ti fun itumọ ati gbigbe ara lori konge; ROUGE ti a ṣe fun akopọ ati gbigbe ara lori iranti.
Metiriki wo ni a ṣe ni akọkọ fun itumọ ẹrọ ti o tẹnu mọ pipe?
A ṣẹda BLEU fun itumọ ati pe o da lori iṣedede n-gram ti a ṣe atunṣe pẹlu ijiya kukuru kan.
Kini ROUGE ni iṣalaye akọkọ si?
ROUGE dúró fún Ìkẹ́kọ̀ọ́ ÌRÁNTÍ-ÌRÁNTÍ fún Igbelewọn Gisting ati tẹnumọ iye itọkasi ti a mu.
Kini ijiya kukuru ti BLEU ṣe idiwọ?
Ijiya kukuru naa dinku BLEU nigbati oludije kuru ju itọkasi lọ, idaduro awọn ọna ṣiṣe lati fifẹ konge pẹlu iṣelọpọ terse.
Kini iwọn ROUGE-L?
ROUGE-L nlo atẹle ti o wọpọ ti o gunjulo, awọn ere-iṣere ni ere lakoko gbigba awọn ela.
Kini aropin pinpin bọtini ti mejeeji BLEU ati ROUGE?
Mejeeji da lori ibaramu ọrọ gangan/n-gram, nitorinaa wọn ṣe iyeye awọn alaye asọye ti o wulo ti o yatọ lexically lati itọkasi.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii