Útmutatóhoz kapcsolódó kvíz · Közepes Szint

ROUGE és BLEU értékelési metrikák kvíz

Checks BLEU precision and clipping, ROUGE recall and sequence overlap, and why n-gram metrics miss semantically valid paraphrases.

Kapcsolódó útmutató utakRouge és Bleu értékelési mérőszámai
kérdés 1 -ból 8

Melyik mérőszámot eredetileg gépi fordításhoz tervezték, és amely a pontosságot hangsúlyozza?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Melyik mérőszámot eredetileg gépi fordításhoz tervezték, és amely a pontosságot hangsúlyozza?
    • BLEU
    • ROUGE
    • BERTScore
    • csak F1
  2. Mire irányul elsősorban a ROUGE?
    • Precizitás
    • Visszahívás
    • Látencia
    • Modell mérete
  3. Mit akadályoz meg a BLEU rövidségbüntetése?
    • Túl hosszú kimenetek előállítása
    • Ritka szavak használata
    • A pontszám megjátszása nagyon rövid kimenetekkel
    • Ugyanazon szó ismétlése
  4. Mit mér a ROUGE-L?
    • A kimenetben lévő betűk száma
    • Késés ezredmásodpercben
    • A legnagyobb használt tanulási arány
    • A jelölt és a referencia közötti leghosszabb közös sorozat
  5. Mi a BLEU és a ROUGE fő közös korlátja?
    • Csak a felületi n-gramos átfedést mérik, és hiányzik a parafrázis vagy a jelentés
    • A számításokhoz GPU-kra van szükség
    • Nem tudják kezelni az angol szöveget
    • Nincs szükségük hivatkozási szövegre
  6. Hogyan akadályozza meg a BLEU, hogy egy rendszer kijátssza a pontszámot egy nagyfrekvenciás n-gram ismétlésével?
    • Figyelmen kívül hagy minden ismételt szót
    • Minden jelölt n-gramm számát a hivatkozásokban szereplő maximális számra vágja
    • Csak az első mondatot számítja
    • Minden ismétlést nullára büntet
  7. When does BLEU’s brevity penalty reduce a candidate’s score?
    • When the candidate includes a unigram match
    • When the reference contains more than four words
    • When the candidate is shorter than the reference length
    • When the candidate uses a paraphrase
  8. Why does BLEU take a geometric mean across n-gram precisions?
    • It converts precision into a confidence interval
    • It guarantees semantic equivalence
    • It removes the need for reference text
    • A low score at one n-gram order can substantially lower the combined score