DalšíDalší průvodce
Hodnotící metriky ROUGE a BLEU
Technický
Technický PRŮVODCE
BERTScore měří, jak dobře se strojově generovaný text shoduje s odkazem, a to porovnáním významu, nikoli přesných slov.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It fixes a core blind spot of older metrics that punish valid paraphrases.
BERTScore vyhodnocuje generovaný text (překlady, shrnutí, titulky) vložením každého tokenu do kontextuálního modelu, jako je BERT nebo RoBERTa, a poté přiřazuje kandidátské tokeny k referenčním tokenům podle kosinové podobnosti. Starší metriky jako BLEU a ROUGE počítají překrývající se n-gramy, takže „kočka je na podložce“ a „kočka sedí na koberci“ se navzdory stejnému významu blíží nule. BERTScore místo toho počítá chamtivé párování tokenů a poté agreguje do přesnosti, vyvolání a F1. Protože vkládání je kontextové, stejné slovo v různých větách získává různé vektory, které zachycují nuance. Mnohem lépe koreluje s lidskými úsudky o kvalitě, zejména pro plynulé parafráze, a proto se po svém zavedení v roce 2019 stal standardním nástrojem sémantického hodnocení.
Systémy strojového překladu, kde se liší platné znění, takže BLEU nespravedlivě penalizuje správné parafráze
Vyhodnocování abstraktních souhrnů, které přeformulují zdrojový obsah novými slovy, spíše než kopírováním frází
Srovnávací modely titulků obrázků, kde mnoho plynulých titulků popisuje stejný obrázek
Porovnání odpovědí chatbota nebo QA se zlatými odpověďmi, když se fráze liší, ale význam je stejný
Sémantické hodnocení se posouvá směrem k učeným a LLM založeným soudcům, kteří posuzují věcnost, koherenci a užitečnost nad rámec tokenové podobnosti. BERTScore zůstává rychlou, reprodukovatelnou základní linií, ale novější přístupy jako BLEURT, COMET a „LLM-as-judge“ hodnotí kvality zachycení, které BERTScore postrádá, jako jsou halucinovaná fakta. Očekávejte hybridní potrubí: levné metriky vkládání pro plošné prověřování s dražšími porotci založenými na modelech vyhrazených pro konečné hodnocení s vysokými sázkami.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
BERTScore měří, jak dobře se strojově generovaný text shoduje s odkazem, a to porovnáním významu, nikoli přesných slov. Opravuje hlavní slepé místo starších metrik, které trestají platné parafráze.
BLEU a ROUGE počet n-gramů se překrývají, takže parafráze zachovávající význam s různými slovy skórují špatně, i když jsou správné.
BERTScore vkládá tokeny s modelem jako BERT a porovnává je pomocí kosinové podobnosti ve vektorovém prostoru.
Kontextové modely vytvářejí různá vložení pro stejné slovo v různých kontextech a zachycují významové nuance.
BERTScore agreguje shodu tokenů na přesnost, vyvolání a kombinované skóre F1.
Inverzní frekvence dokumentu snižuje vliv častých slov jako „the“, která mají malý význam.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Hodnotící metriky ROUGE a BLEU
Technický