Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Permodelan Ganjaran
Uji skor model ganjaran, data keutamaan, kehilangan kedudukan berpasangan, penggodaman ganjaran dan penggunaan terbaik dalam RLHF. Semak andaian dan skop.
soalan 1 daripada 8
Apakah output utama model ganjaran untuk pasangan tindak balas segera yang diberikan?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah output utama model ganjaran untuk pasangan tindak balas segera yang diberikan?
- Skor skalar tunggal
- Jawapan teks penuh
- Taburan kebarangkalian ke atas perbendaharaan kata
- Senarai token pilihan
- Apakah format maklum balas yang dikumpulkan oleh kertas InstructGPT untuk melatih model ganjarannya?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Apakah yang dioptimumkan oleh kerugian model ganjaran standard?
- Nilai ganjaran mutlak bagi setiap respons
- Ketepatan ramalan token seterusnya
- Bahawa markah respons yang dipilih lebih tinggi daripada yang ditolak
- Panjang jawapan
- Apakah 'penggodaman ganjaran'?
- Mencuri model ganjaran pesaing
- Kaedah untuk mempercepatkan latihan
- Menyulitkan isyarat ganjaran
- Dasar mengeksploitasi kelemahan dalam model ganjaran untuk mendapatkan skor tinggi tanpa kualiti tulen
- Bagaimanakah model ganjaran secara seni bina diperoleh daripada model bahasa?
- Dengan menggantikan kepala ramalan token dengan kepala keluaran skalar tunggal
- Dengan menambahkan lebih banyak lapisan perhatian
- Dengan mengalih keluar semua lapisan pengubah
- Dengan menggandakan kosa kata
- Bagaimanakah model ganjaran digunakan pada masa inferens dalam pensampelan N terbaik?
- Melatih N model ganjaran secara selari
- Menjana berbilang respons dan menggunakan model ganjaran untuk memilih yang mendapat markah tertinggi
- Memilih N token yang paling biasa
- Purata titik pemeriksaan model N
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons