DalšíDalší průvodce
RAG Evaluation Metrics a RAGAS
Technický
Technický PRŮVODCE
ROUGE a BLEU jsou tahounem automatické metriky pro porovnávání strojově generovaného textu s lidskými referencemi.
Poslechněte si tento návodAI-vyprávěný · ~2 min
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
Obě metriky měří n-gramové překrytí mezi kandidátským textem a jedním nebo více referenčními texty, ale zdůrazňují různé směry. BLEU (Bilingual Evaluation Understudy) počítá upravenou n-gramovou přesnost (typicky 1- až 4-gramy), násobí je geometricky a aplikuje penalizaci za stručnost, takže systém nemůže hrát skóre tím, že produkuje velmi krátký výstup. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) místo toho upřednostňuje stažení: ROUGE-N počítá překrývajících se n-gramů, ROUGE-L používá nejdelší společnou podsekvenci k odměňování shod v pořadí, aniž by vyžadoval souvislost. BLEU se ptá, kolik z toho, co systém řekl, je správné? zatímco ROUGE se ptá 'kolik z reference systém zachytil?'. Oba jsou levné a reprodukovatelné, ale vidí pouze povrchové překrývání slov, chybějící parafráze a význam.
Výzkumníci strojového překladu hlásí skóre BLEU v benchmarcích WMT, aby porovnali kvalitu systému
Sumarizační články uvádějí ROUGE-1, ROUGE-2 a ROUGE-L na datovém souboru CNN/DailyMail
Inženýrský tým sleduje BLEU v CI, aby zjistil regrese při dolaďování modelu překladu
Sumarizační produkt používá ROUGE-L jako levnou automatickou kontrolu před spuštěním nákladnějšího lidského hodnocení
Protože n-gramové metriky odměňují přesné shody slov, podceňují platné parafráze a plynulé přepisy, což je stále větší problém, protože výstupy LLM se lexikálně liší od referencí. Metriky založené na vkládání, jako je BERTScore a naučené metriky, jako je BLEURT a COMET, plus hodnocení LLM jako soudce je stále více doplňují nebo nahrazují. Přesto ROUGE a BLEU přetrvávají jako rychlé a transparentní základní linie uváděné téměř ve všech novinách.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
ROUGE a BLEU jsou tahounem automatické metriky pro porovnávání strojově generovaného textu s lidskými referencemi. BLEU byl postaven pro překlad a opírá se o přesnost; ROUGE byl vytvořen pro shrnutí a opírá se o odvolání.
BLEU byl vytvořen pro překlad a je založen na upravené n-gramové přesnosti s penalizací za stručnost.
ROUGE znamená Recall-Oriented Understudy for Gisting Evaluation a zdůrazňuje, jak velká část reference je zachycena.
Pokuta za stručnost snižuje BLEU, když je kandidát kratší než referenční, což zabraňuje systémům v přesném nafukování s krátkým výstupem.
ROUGE-L používá nejdelší společnou podsekvenci, odměňuje shody v pořadí a zároveň umožňuje mezery.
Oba se spoléhají na přesnou shodu slov/n-gramů, takže podceňují platné parafráze, které se lexikálně liší od odkazu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
RAG Evaluation Metrics a RAGAS
Technický