Kuis LLM sebagai Juri

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dimaksud dengan 'LLM sebagai hakim'?
   • Menggunakan satu model bahasa untuk menilai atau membandingkan keluaran model lain
   • Menggunakan model bahasa untuk menulis putusan hukum
   • Model yang hanya menjawab pertanyaan ya/tidak
   • Model yang memberi peringkat hasil pencarian berdasarkan tanggal
2. Apa perbedaan antara penilaian pointwise dan pairwise?
   • Pointwise lebih cepat; berpasangan lebih lambat tetapi sebaliknya identik
   • Pointwise menilai satu jawaban berdasarkan rubrik; berpasangan memilih yang terbaik dari dua
   • Pointwise hanya berfungsi untuk kode; berpasangan hanya untuk prosa
   • Tidak ada perbedaan nyata
3. Manakah dari berikut ini yang merupakan bias yang terdokumentasi dengan baik pada hakim LLM?
   • Lebih menyukai jawaban yang ditulis dengan huruf kapital semua
   • Selalu memilih kata pertama berdasarkan abjad
   • Menyukai jawaban yang lebih panjang, apa pun kualitasnya
   • Menolak untuk menilai pertanyaan tentang sejarah
4. Bagaimana evaluator biasanya mengatasi bias posisi dalam perbandingan berpasangan?
   • Dengan hanya menampilkan satu jawaban dalam satu waktu
   • Dengan selalu mengutamakan jawaban yang lebih panjang
   • Dengan menghapus bidang pembenaran
   • Dengan menjalankan setiap perbandingan dua kali dengan pesanan ditukar
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Bagaimana sebuah tim dapat memastikan bahwa juri LLM tetap sejalan dengan preferensi manusia?
   • Dengan tidak pernah memeriksanya lagi setelah pengaturan
   • Dengan mengkalibrasinya terhadap set emas berlabel manusia
   • Dengan membuat juri menilai dirinya sendiri
   • Dengan hanya menggunakannya di akhir pekan
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens