Quiz dotyczący dekodowania minimalnego ryzyka Bayesa

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co wybiera dekodowanie MBR zamiast pojedynczej najbardziej prawdopodobnej sekwencji?
   • Kandydat o najwyższej oczekiwanej użyteczności w porównaniu z innymi prawdopodobnymi wynikami
   • Najkrótsza sekwencja
   • Losowa próbka
   • Najdłuższa sekwencja
2. Ponieważ prawdziwe odniesienia są niedostępne, czego MBR używa jako pseudoodniesień?
   • Stały korpus zewnętrzny
   • Sama pula wybranych wyników kandydatów
   • Adnotacje ludzkie
   • Zestaw treningowy
3. Dlaczego naiwny MBR jest kosztowny obliczeniowo?
   • Wymaga to przeszkolenia modelu
   • Przydałoby się większe słownictwo
   • Porównanie parami N kandydatów to wywołania metryczne O (N kwadrat).
   • Nie wykorzystuje procesora graficznego
4. What has COMET been used for in minimum Bayes risk machine-translation experiments?
   • As a universal guarantee of better translation quality
   • As a tokenizer for the candidate pool
   • As an exact reference translation available at inference
   • As a learned utility metric in evaluated translation settings
5. Spójność w rozumowaniu odnosi się do MBR, ponieważ:
   • Próbuje wiele łańcuchów i wybiera najbardziej uzgodnioną odpowiedź
   • Zawsze wybiera pierwszą próbkę odpowiedzi
   • Używa wewnętrznie wyszukiwania belek
   • Ignoruje rozkład modelu
6. How is risk generally expressed in minimum Bayes risk decision-making?
   • Always one minus a normalized similarity score
   • Expected loss under a chosen loss function and reference distribution
   • The model’s parameter count divided by accuracy
   • The number of candidates sampled
7. If the chosen utility metric disagrees with human judgments, what will MBR primarily optimize?
   • Human preference automatically overrides the metric
   • The model’s raw next-token likelihood
   • The expected utility under that selected metric
   • The shortest candidate in the pool
8. If a high-quality answer is missing from the sampled candidate pool, what can MBR do?
   • It guarantees the missing answer is generated
   • It changes the model weights to add the answer
   • It replaces the utility metric with a human reference
   • It can only select or rerank candidates that are in the pool