Gids-gekoppelde quiz · Middelmatig Niveau

ROUGE en BLEU Evaluatiestatistiekenquiz

Controleert BLEU-precisie en clipping, ROUGE-herinnering en reeksoverlap, en waarom n-gram-metrieken semantisch geldige parafrases missen.

Vraag 1 van 8

Welke maatstaf is oorspronkelijk ontworpen voor machinevertaling en legt de nadruk op precisie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke maatstaf is oorspronkelijk ontworpen voor machinevertaling en legt de nadruk op precisie?
    • BLEU
    • ROUGE
    • BERTScore
    • Alleen F1
  2. Waar is ROUGE vooral op gericht?
    • Precisie
    • Terugroepen
    • Latentie
    • Modelgrootte
  3. Wat voorkomt de kortheidsboete van BLEU?
    • Het produceren van te lange outputs
    • Gebruik van zeldzame woorden
    • Speel de score met zeer korte uitgangen
    • Hetzelfde woord herhalen
  4. Wat meet ROUGE-L?
    • Het aantal letters in de uitvoer
    • Latentie in milliseconden
    • Het grootste leerpercentage dat wordt gebruikt
    • De langste gemeenschappelijke deelreeks tussen kandidaat en referentie
  5. Wat is een belangrijke gedeelde beperking van zowel BLEU als ROUGE?
    • Ze meten alleen de oppervlakte-n-gram-overlap en missen parafrase of betekenis
    • Ze hebben GPU's nodig om te kunnen rekenen
    • Ze kunnen niet overweg met Engelse tekst
    • Ze hebben geen referentietekst nodig
  6. Hoe voorkomt BLEU dat een systeem de score gokt door een hoogfrequente n-gram te herhalen?
    • Het negeert alle herhaalde woorden
    • Het knipt het aantal n-grammen van elke kandidaat af tot het maximale aantal in de referenties
    • Het telt alleen de eerste zin
    • Het bestraft elke herhaling tot nul
  7. When does BLEU’s brevity penalty reduce a candidate’s score?
    • When the candidate includes a unigram match
    • When the reference contains more than four words
    • When the candidate is shorter than the reference length
    • When the candidate uses a paraphrase
  8. Why does BLEU take a geometric mean across n-gram precisions?
    • It converts precision into a confidence interval
    • It guarantees semantic equivalence
    • It removes the need for reference text
    • A low score at one n-gram order can substantially lower the combined score