Kvíz spojený s průvodcem · Těžko úroveň

Kvíz o dekódování minimálního Bayesova rizika

Testuje očekávanou užitečnost, vzorkované pseudoreference, kvadratická srovnání kandidátů, metrické limity a omezení skupiny kandidátů dekódování MBR.

Otázka 1 z 8

Co dekódování MBR vybere místo jediné nejpravděpodobnější sekvence?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co dekódování MBR vybere místo jediné nejpravděpodobnější sekvence?
    • Kandidát s nejvyšší očekávanou užitečností oproti jiným pravděpodobným výstupům
    • Nejkratší sekvence
    • Náhodný vzorek
    • Nejdelší sekvence
  2. Protože skutečné reference nejsou k dispozici, co používá MBR jako pseudoreference?
    • Pevný externí korpus
    • Soubor samotných vzorkovaných výstupů kandidátů
    • Lidské anotace
    • Tréninkový set
  3. Proč je naivní MBR výpočetně drahé?
    • Vyžaduje to přeškolení modelu
    • Chce to větší slovní zásobu
    • Párové porovnání N kandidátů je O(N na druhou) metrických volání
    • Nepoužívá GPU
  4. What has COMET been used for in minimum Bayes risk machine-translation experiments?
    • As a universal guarantee of better translation quality
    • As a tokenizer for the candidate pool
    • As an exact reference translation available at inference
    • As a learned utility metric in evaluated translation settings
  5. Sebekonzistence v uvažování souvisí s MBR, protože:
    • Vzorky mnoha řetězců a vybere nejvíce dohodnutou odpověď
    • Vždy bere první ukázkovou odpověď
    • Interně používá vyhledávání paprskem
    • Ignoruje distribuci modelu
  6. How is risk generally expressed in minimum Bayes risk decision-making?
    • Always one minus a normalized similarity score
    • Expected loss under a chosen loss function and reference distribution
    • The model’s parameter count divided by accuracy
    • The number of candidates sampled
  7. If the chosen utility metric disagrees with human judgments, what will MBR primarily optimize?
    • Human preference automatically overrides the metric
    • The model’s raw next-token likelihood
    • The expected utility under that selected metric
    • The shortest candidate in the pool
  8. If a high-quality answer is missing from the sampled candidate pool, what can MBR do?
    • It guarantees the missing answer is generated
    • It changes the model weights to add the answer
    • It replaces the utility metric with a human reference
    • It can only select or rerank candidates that are in the pool