Kvíz spojený s průvodcem · Těžko úroveň
Kvíz o dekódování minimálního Bayesova rizika
Testuje očekávanou užitečnost, vzorkované pseudoreference, kvadratická srovnání kandidátů, metrické limity a omezení skupiny kandidátů dekódování MBR.
Otázka 1 z 8
Co dekódování MBR vybere místo jediné nejpravděpodobnější sekvence?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co dekódování MBR vybere místo jediné nejpravděpodobnější sekvence?
- Kandidát s nejvyšší očekávanou užitečností oproti jiným pravděpodobným výstupům
- Nejkratší sekvence
- Náhodný vzorek
- Nejdelší sekvence
- Protože skutečné reference nejsou k dispozici, co používá MBR jako pseudoreference?
- Pevný externí korpus
- Soubor samotných vzorkovaných výstupů kandidátů
- Lidské anotace
- Tréninkový set
- Proč je naivní MBR výpočetně drahé?
- Vyžaduje to přeškolení modelu
- Chce to větší slovní zásobu
- Párové porovnání N kandidátů je O(N na druhou) metrických volání
- Nepoužívá GPU
- What has COMET been used for in minimum Bayes risk machine-translation experiments?
- As a universal guarantee of better translation quality
- As a tokenizer for the candidate pool
- As an exact reference translation available at inference
- As a learned utility metric in evaluated translation settings
- Sebekonzistence v uvažování souvisí s MBR, protože:
- Vzorky mnoha řetězců a vybere nejvíce dohodnutou odpověď
- Vždy bere první ukázkovou odpověď
- Interně používá vyhledávání paprskem
- Ignoruje distribuci modelu
- How is risk generally expressed in minimum Bayes risk decision-making?
- Always one minus a normalized similarity score
- Expected loss under a chosen loss function and reference distribution
- The model’s parameter count divided by accuracy
- The number of candidates sampled
- If the chosen utility metric disagrees with human judgments, what will MBR primarily optimize?
- Human preference automatically overrides the metric
- The model’s raw next-token likelihood
- The expected utility under that selected metric
- The shortest candidate in the pool
- If a high-quality answer is missing from the sampled candidate pool, what can MBR do?
- It guarantees the missing answer is generated
- It changes the model weights to add the answer
- It replaces the utility metric with a human reference
- It can only select or rerank candidates that are in the pool