Kuis Decoding Risiko Minimum Bayes

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dipilih oleh penguraian kode MBR alih-alih satu-satunya urutan yang paling mungkin?
   • Kandidat dengan ekspektasi utilitas tertinggi dibandingkan kemungkinan keluaran lainnya
   • Urutan terpendek
   • Sampel acak
   • Urutan terpanjang
2. Karena referensi yang sebenarnya tidak tersedia, apa yang digunakan MBR sebagai referensi semu?
   • Korpus eksternal yang tetap
   • Kumpulan keluaran kandidat yang dijadikan sampel
   • Anotasi manusia
   • Set pelatihan
3. Mengapa MBR yang naif mahal secara komputasi?
   • Hal ini memerlukan pelatihan ulang model
   • Perlu kosakata yang lebih luas
   • Perbandingan berpasangan dari N kandidat adalah panggilan metrik O(N kuadrat).
   • Itu tidak menggunakan GPU
4. What has COMET been used for in minimum Bayes risk machine-translation experiments?
   • As a universal guarantee of better translation quality
   • As a tokenizer for the candidate pool
   • As an exact reference translation available at inference
   • As a learned utility metric in evaluated translation settings
5. Konsistensi diri dalam penalaran berkaitan dengan MBR karena:
   • Ambil sampel banyak rantai dan pilih jawaban yang paling disepakati
   • Selalu mengambil jawaban sampel pertama
   • Menggunakan pencarian sinar secara internal
   • Mengabaikan distribusi model
6. How is risk generally expressed in minimum Bayes risk decision-making?
   • Always one minus a normalized similarity score
   • Expected loss under a chosen loss function and reference distribution
   • The model’s parameter count divided by accuracy
   • The number of candidates sampled
7. If the chosen utility metric disagrees with human judgments, what will MBR primarily optimize?
   • Human preference automatically overrides the metric
   • The model’s raw next-token likelihood
   • The expected utility under that selected metric
   • The shortest candidate in the pool
8. If a high-quality answer is missing from the sampled candidate pool, what can MBR do?
   • It guarantees the missing answer is generated
   • It changes the model weights to add the answer
   • It replaces the utility metric with a human reference
   • It can only select or rerank candidates that are in the pool