Gids-gekoppelde quiz · Middelmatig Niveau
ROUGE en BLEU Evaluatiestatistiekenquiz
Controleert BLEU-precisie en clipping, ROUGE-herinnering en reeksoverlap, en waarom n-gram-metrieken semantisch geldige parafrases missen.
Vraag 1 van 8
Welke maatstaf is oorspronkelijk ontworpen voor machinevertaling en legt de nadruk op precisie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke maatstaf is oorspronkelijk ontworpen voor machinevertaling en legt de nadruk op precisie?
- BLEU
- ROUGE
- BERTScore
- Alleen F1
- Waar is ROUGE vooral op gericht?
- Precisie
- Terugroepen
- Latentie
- Modelgrootte
- Wat voorkomt de kortheidsboete van BLEU?
- Het produceren van te lange outputs
- Gebruik van zeldzame woorden
- Speel de score met zeer korte uitgangen
- Hetzelfde woord herhalen
- Wat meet ROUGE-L?
- Het aantal letters in de uitvoer
- Latentie in milliseconden
- Het grootste leerpercentage dat wordt gebruikt
- De langste gemeenschappelijke deelreeks tussen kandidaat en referentie
- Wat is een belangrijke gedeelde beperking van zowel BLEU als ROUGE?
- Ze meten alleen de oppervlakte-n-gram-overlap en missen parafrase of betekenis
- Ze hebben GPU's nodig om te kunnen rekenen
- Ze kunnen niet overweg met Engelse tekst
- Ze hebben geen referentietekst nodig
- Hoe voorkomt BLEU dat een systeem de score gokt door een hoogfrequente n-gram te herhalen?
- Het negeert alle herhaalde woorden
- Het knipt het aantal n-grammen van elke kandidaat af tot het maximale aantal in de referenties
- Het telt alleen de eerste zin
- Het bestraft elke herhaling tot nul
- When does BLEU’s brevity penalty reduce a candidate’s score?
- When the candidate includes a unigram match
- When the reference contains more than four words
- When the candidate is shorter than the reference length
- When the candidate uses a paraphrase
- Why does BLEU take a geometric mean across n-gram precisions?
- It converts precision into a confidence interval
- It guarantees semantic equivalence
- It removes the need for reference text
- A low score at one n-gram order can substantially lower the combined score