Kuis Optimasi Preferensi Langsung

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dihilangkan DPO dibandingkan dengan RLHF tradisional?
   • Model penghargaan dan putaran pembelajaran penguatan yang terpisah
   • Kebutuhan akan data preferensi manusia apa pun
   • Model bahasa dasar yang telah dilatih sebelumnya
   • Penggunaan probabilitas log
2. Data apa saja yang terdapat dalam satu contoh pelatihan DPO?
   • Skor hadiah cepat dan numerik
   • Prompt dengan respons yang dipilih dan ditolak
   • Sebuah jawaban cepat dan satu jawaban yang benar
   • Hanya keluaran model penghargaan
3. Peran apa yang dimainkan model referensi dalam DPO?
   • Ini menghasilkan tanggapan yang ditolak
   • Ini menilai tanggapan dengan imbalan eksplisit
   • Ini adalah garis dasar yang dibekukan yang menjadi tolak ukur kebijakan untuk membatasi penyimpangan
   • Ini menggantikan data pelatihan
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Apa yang dikontrol parameter beta (suhu) di DPO?
   • Seberapa kuat kebijakan tersebut tetap dekat dengan model referensi
   • Kecepatan pembelajaran pengoptimal
   • Jumlah pasangan preferensi
   • Ukuran kosakata
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio