Kuiz berkaitan panduan · Sederhana Tahap
Membina Kuiz Set Data LLM Eval
Ujian mendapatkan kes sebenar, jawapan emas berbanding rubrik, liputan huruf tepi dan saiz set eval supaya perbezaan skor bermakna.
soalan 1 daripada 8
Apakah yang disarankan oleh panduan sebagai sumber permulaan terbaik untuk kes eval?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah yang disarankan oleh panduan sebagai sumber permulaan terbaik untuk kes eval?
- Hanya soalan sintetik yang dijana LLM
- Papan pendahulu penanda aras awam
- Teks rawak yang dikikis dari internet
- Penggunaan sebenar, seperti log, tiket sokongan dan pertanyaan carian
- Bilakah rubrik lebih sesuai daripada satu jawapan emas?
- Untuk tugas pengelasan dengan label tetap
- Untuk tugasan terbuka di mana banyak perkataan berbeza boleh betul
- Untuk mengekstrak nombor invois yang tepat
- Rubrik tidak pernah lebih sesuai
- Yang manakah antara ini merupakan kriteria rubrik yang ditulis dengan baik?
- Membantu
- Bunyi semula jadi
- Menyebut tarikh akhir bayaran balik
- Berkualiti tinggi
- Dengan 100 kes lulus/gagal dan kadar lulus hampir 80 peratus, apakah yang dikatakan panduan tentang margin ralat?
- Ia kira-kira tambah atau tolak 8 mata peratusan, jadi peningkatan dua mata kelihatan seperti bunyi bising
- Ia adalah kira-kira tambah atau tolak 0.1 mata peratusan
- Ia betul-betul sifar
- Ia adalah kira-kira tambah atau tolak 50 mata peratusan
- Apakah tujuan potongan regresi?
- Untuk memadam kes lapuk secara automatik
- Untuk mempercepatkan tindak balas model
- Untuk mengekalkan kegagalan lalu dalam set supaya pembaikan kekal diuji
- Untuk melatih model atas kesilapan sendiri
- Apakah yang perlu anda lakukan sebelum mempercayai hakim LLM untuk menilai item rubrik?
- Naikkan suhu hakim
- Keluarkan rubrik supaya hakim boleh membuat keputusan dengan bebas
- Uji hakim pada satu kes
- Minta orang melabelkan sampel dan ukur kekerapan hakim bersetuju dengan mereka
- Mengapa menyimpan sebahagian daripada set data yang anda tidak sesuaikan?
- Untuk mengelakkan gesaan yang berlebihan pada set ujian
- Untuk menjimatkan ruang simpanan
- Kerana peraturan memerlukannya
- Untuk mengurangkan kependaman
- Mengapa perbandingan berpasangan pada kes yang sama berguna apabila membandingkan dua versi?
- Mereka menghilangkan keperluan untuk mana-mana penggred
- Mereka biasanya memerlukan lebih sedikit contoh daripada membandingkan sampel bebas
- Mereka mengalih keluar semua nondeterminisme daripada output model
- Mereka menjamin skor yang sempurna