Kuis terkait panduan · Sedang Tingkat
Kuis Pemodelan Hadiah
Uji skor model hadiah, data preferensi, kerugian peringkat berpasangan, peretasan hadiah, dan penggunaan best-of-N di RLHF. Periksa asumsi dan ruang lingkup.
Pertanyaan 1 dari 8
Apa keluaran utama dari model penghargaan untuk pasangan respons cepat tertentu?
Pratinjau setiap pertanyaan8 pertanyaan
Jawaban dan penjelasan muncul saat Anda mengikuti kuis.
- Apa keluaran utama dari model penghargaan untuk pasangan respons cepat tertentu?
- Skor skalar tunggal
- Respons teks lengkap
- Distribusi probabilitas atas kosakata
- Daftar token pilihan
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Apa yang dioptimalkan oleh kerugian model penghargaan standar?
- Nilai imbalan mutlak dari setiap respons
- Akurasi prediksi token berikutnya
- Bahwa jawaban yang dipilih mendapat skor lebih tinggi daripada jawaban yang ditolak
- Panjang tanggapan
- Apa itu 'peretasan hadiah'?
- Mencuri model penghargaan pesaing
- Sebuah metode untuk mempercepat pelatihan
- Mengenkripsi sinyal hadiah
- Kebijakan ini mengeksploitasi kelemahan dalam model penghargaan untuk mendapatkan nilai tinggi tanpa kualitas yang sesungguhnya
- Bagaimana model penghargaan secara arsitektur diturunkan dari model bahasa?
- Dengan mengganti kepala prediksi token dengan kepala keluaran skalar tunggal
- Dengan menambahkan lebih banyak lapisan perhatian
- Dengan menghapus semua lapisan trafo
- Dengan menggandakan kosakata
- Bagaimana model penghargaan digunakan pada waktu inferensi dalam pengambilan sampel best-of-N?
- Melatih N model penghargaan secara paralel
- Menghasilkan banyak respons dan menggunakan model penghargaan untuk memilih respons dengan skor tertinggi
- Memilih N token yang paling umum
- Rata-rata N pos pemeriksaan model
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons