Kuis Metrik Evaluasi ROUGE dan BLEU

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Metrik mana yang awalnya dirancang untuk terjemahan mesin dan menekankan presisi?
   • BIRU
   • PEMERAH
   • skor BERTS
   • F1 saja
2. Apa yang menjadi fokus utama ROUGE?
   • Presisi
   • Ingat
   • Latensi
   • Ukuran model
3. Apa yang dicegah oleh penalti singkatnya BLEU?
   • Menghasilkan output yang terlalu panjang
   • Menggunakan kata-kata yang jarang
   • Mempermainkan skor dengan keluaran yang sangat singkat
   • Mengulangi kata yang sama
4. Apa yang diukur oleh ROUGE-L?
   • Jumlah huruf dalam output
   • Latensi dalam milidetik
   • Kecepatan pembelajaran terbesar yang digunakan
   • Urutan umum terpanjang antara kandidat dan referensi
5. Apa batasan utama dari BLEU dan ROUGE?
   • Mereka hanya mengukur permukaan n-gram yang tumpang tindih dan melewatkan parafrase atau makna
   • Mereka membutuhkan GPU untuk menghitung
   • Mereka tidak dapat menangani teks bahasa Inggris
   • Mereka tidak memerlukan teks referensi
6. Bagaimana BLEU mencegah sistem mempermainkan skor dengan mengulangi n-gram frekuensi tinggi?
   • Itu mengabaikan semua kata yang diulang
   • Ini memotong jumlah n-gram setiap kandidat ke jumlah maksimumnya dalam referensi
   • Itu hanya menghitung kalimat pertama
   • Ini menghukum pengulangan apa pun menjadi nol
7. When does BLEU’s brevity penalty reduce a candidate’s score?
   • When the candidate includes a unigram match
   • When the reference contains more than four words
   • When the candidate is shorter than the reference length
   • When the candidate uses a paraphrase
8. Why does BLEU take a geometric mean across n-gram precisions?
   • It converts precision into a confidence interval
   • It guarantees semantic equivalence
   • It removes the need for reference text
   • A low score at one n-gram order can substantially lower the combined score