Útmutatóhoz kapcsolódó kvíz · Közepes Szint
ROUGE és BLEU értékelési metrikák kvíz
Checks BLEU precision and clipping, ROUGE recall and sequence overlap, and why n-gram metrics miss semantically valid paraphrases.
kérdés 1 -ból 8
Melyik mérőszámot eredetileg gépi fordításhoz tervezték, és amely a pontosságot hangsúlyozza?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Melyik mérőszámot eredetileg gépi fordításhoz tervezték, és amely a pontosságot hangsúlyozza?
- BLEU
- ROUGE
- BERTScore
- csak F1
- Mire irányul elsősorban a ROUGE?
- Precizitás
- Visszahívás
- Látencia
- Modell mérete
- Mit akadályoz meg a BLEU rövidségbüntetése?
- Túl hosszú kimenetek előállítása
- Ritka szavak használata
- A pontszám megjátszása nagyon rövid kimenetekkel
- Ugyanazon szó ismétlése
- Mit mér a ROUGE-L?
- A kimenetben lévő betűk száma
- Késés ezredmásodpercben
- A legnagyobb használt tanulási arány
- A jelölt és a referencia közötti leghosszabb közös sorozat
- Mi a BLEU és a ROUGE fő közös korlátja?
- Csak a felületi n-gramos átfedést mérik, és hiányzik a parafrázis vagy a jelentés
- A számításokhoz GPU-kra van szükség
- Nem tudják kezelni az angol szöveget
- Nincs szükségük hivatkozási szövegre
- Hogyan akadályozza meg a BLEU, hogy egy rendszer kijátssza a pontszámot egy nagyfrekvenciás n-gram ismétlésével?
- Figyelmen kívül hagy minden ismételt szót
- Minden jelölt n-gramm számát a hivatkozásokban szereplő maximális számra vágja
- Csak az első mondatot számítja
- Minden ismétlést nullára büntet
- When does BLEU’s brevity penalty reduce a candidate’s score?
- When the candidate includes a unigram match
- When the reference contains more than four words
- When the candidate is shorter than the reference length
- When the candidate uses a paraphrase
- Why does BLEU take a geometric mean across n-gram precisions?
- It converts precision into a confidence interval
- It guarantees semantic equivalence
- It removes the need for reference text
- A low score at one n-gram order can substantially lower the combined score