Gids-gekoppelde quiz · Moeilijk Niveau
Minimale Bayes-risicodecoderingsquiz
Test het verwachte nut, bemonsterde pseudo-referenties, kwadratische kandidaatvergelijkingen, metrische limieten en de beperkingen van de kandidatenpool van MBR-decodering.
Vraag 1 van 8
Wat selecteert MBR-decodering in plaats van de meest waarschijnlijke reeks?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat selecteert MBR-decodering in plaats van de meest waarschijnlijke reeks?
- De kandidaat met het hoogste verwachte nut ten opzichte van andere waarschijnlijke resultaten
- De kortste reeks
- Een willekeurig monster
- De langste reeks
- Wat gebruikt MBR als pseudo-referenties, aangezien echte referenties niet beschikbaar zijn?
- Een vast extern corpus
- De pool van bemonsterde kandidaat-uitvoer zelf
- Menselijke annotaties
- Het trainingsset
- Waarom is naïeve MBR computationeel duur?
- Het vereist herscholing van het model
- Er is een grotere woordenschat nodig
- Paarsgewijze vergelijking van N kandidaten is O(N kwadraat) metrische oproepen
- Het gebruikt geen GPU
- What has COMET been used for in minimum Bayes risk machine-translation experiments?
- As a universal guarantee of better translation quality
- As a tokenizer for the candidate pool
- As an exact reference translation available at inference
- As a learned utility metric in evaluated translation settings
- Zelfconsistentie in redeneren heeft betrekking op MBR omdat het:
- Proeft vele ketens en kiest het meest overeengekomen antwoord
- Neemt altijd het eerste voorbeeldantwoord
- Maakt gebruik van straalonderzoek intern
- Negeert de distributie van het model
- How is risk generally expressed in minimum Bayes risk decision-making?
- Always one minus a normalized similarity score
- Expected loss under a chosen loss function and reference distribution
- The model’s parameter count divided by accuracy
- The number of candidates sampled
- If the chosen utility metric disagrees with human judgments, what will MBR primarily optimize?
- Human preference automatically overrides the metric
- The model’s raw next-token likelihood
- The expected utility under that selected metric
- The shortest candidate in the pool
- If a high-quality answer is missing from the sampled candidate pool, what can MBR do?
- It guarantees the missing answer is generated
- It changes the model weights to add the answer
- It replaces the utility metric with a human reference
- It can only select or rerank candidates that are in the pool