Kuiz berkaitan panduan · Sederhana Tahap

Membina Kuiz Set Data LLM Eval

Ujian mendapatkan kes sebenar, jawapan emas berbanding rubrik, liputan huruf tepi dan saiz set eval supaya perbezaan skor bermakna.

Laluan panduan yang berkaitanMembina Set Data LLM Eval
soalan 1 daripada 8

Apakah yang disarankan oleh panduan sebagai sumber permulaan terbaik untuk kes eval?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang disarankan oleh panduan sebagai sumber permulaan terbaik untuk kes eval?
    • Hanya soalan sintetik yang dijana LLM
    • Papan pendahulu penanda aras awam
    • Teks rawak yang dikikis dari internet
    • Penggunaan sebenar, seperti log, tiket sokongan dan pertanyaan carian
  2. Bilakah rubrik lebih sesuai daripada satu jawapan emas?
    • Untuk tugas pengelasan dengan label tetap
    • Untuk tugasan terbuka di mana banyak perkataan berbeza boleh betul
    • Untuk mengekstrak nombor invois yang tepat
    • Rubrik tidak pernah lebih sesuai
  3. Yang manakah antara ini merupakan kriteria rubrik yang ditulis dengan baik?
    • Membantu
    • Bunyi semula jadi
    • Menyebut tarikh akhir bayaran balik
    • Berkualiti tinggi
  4. Dengan 100 kes lulus/gagal dan kadar lulus hampir 80 peratus, apakah yang dikatakan panduan tentang margin ralat?
    • Ia kira-kira tambah atau tolak 8 mata peratusan, jadi peningkatan dua mata kelihatan seperti bunyi bising
    • Ia adalah kira-kira tambah atau tolak 0.1 mata peratusan
    • Ia betul-betul sifar
    • Ia adalah kira-kira tambah atau tolak 50 mata peratusan
  5. Apakah tujuan potongan regresi?
    • Untuk memadam kes lapuk secara automatik
    • Untuk mempercepatkan tindak balas model
    • Untuk mengekalkan kegagalan lalu dalam set supaya pembaikan kekal diuji
    • Untuk melatih model atas kesilapan sendiri
  6. Apakah yang perlu anda lakukan sebelum mempercayai hakim LLM untuk menilai item rubrik?
    • Naikkan suhu hakim
    • Keluarkan rubrik supaya hakim boleh membuat keputusan dengan bebas
    • Uji hakim pada satu kes
    • Minta orang melabelkan sampel dan ukur kekerapan hakim bersetuju dengan mereka
  7. Mengapa menyimpan sebahagian daripada set data yang anda tidak sesuaikan?
    • Untuk mengelakkan gesaan yang berlebihan pada set ujian
    • Untuk menjimatkan ruang simpanan
    • Kerana peraturan memerlukannya
    • Untuk mengurangkan kependaman
  8. Mengapa perbandingan berpasangan pada kes yang sama berguna apabila membandingkan dua versi?
    • Mereka menghilangkan keperluan untuk mana-mana penggred
    • Mereka biasanya memerlukan lebih sedikit contoh daripada membandingkan sampel bebas
    • Mereka mengalih keluar semua nondeterminisme daripada output model
    • Mereka menjamin skor yang sempurna