Kuiz LLM-sebagai-Hakim

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah maksud 'LLM-sebagai-hakim'?
   • Menggunakan satu model bahasa untuk menjaringkan atau membandingkan output model lain
   • Menggunakan model bahasa untuk menulis keputusan undang-undang
   • Model yang hanya menjawab soalan ya/tidak
   • Model yang meletakkan kedudukan hasil carian mengikut tarikh
2. Apakah perbezaan antara penilaian secara pointwise dan pairwise?
   • Pointwise lebih cepat; berpasangan adalah lebih perlahan tetapi sama sebaliknya
   • Menunjukkan gred satu jawapan terhadap rubrik; berpasangan memilih yang lebih baik daripada dua
   • Pointwise hanya berfungsi untuk kod; berpasangan sahaja untuk prosa
   • Tidak ada perbezaan yang nyata
3. Yang manakah antara ini adalah berat sebelah yang didokumentasikan dengan baik dalam hakim LLM?
   • Mengutamakan jawapan yang ditulis dalam semua huruf besar
   • Sentiasa mengutamakan perkataan pertama mengikut abjad
   • Mengutamakan jawapan yang lebih panjang tanpa mengira kualiti
   • Enggan menilai soalan tentang sejarah
4. Bagaimanakah penilai biasanya menentang berat sebelah kedudukan dalam perbandingan berpasangan?
   • Dengan hanya menunjukkan satu jawapan pada satu masa
   • Dengan sentiasa mendahulukan jawapan yang lebih panjang
   • Dengan memadamkan medan justifikasi
   • Dengan menjalankan setiap perbandingan dua kali dengan pesanan ditukar
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Bagaimanakah pasukan boleh mengesahkan hakim LLM kekal sejajar dengan pilihan manusia?
   • Dengan tidak menyemaknya lagi selepas persediaan
   • Dengan menentukurnya terhadap set emas berlabel manusia
   • Dengan membuat gred hakim itu sendiri
   • Dengan hanya menggunakannya pada hujung minggu
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens