Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Pengoptimuman Keutamaan Langsung

Semak pasangan pilihan DPO, dasar rujukan, ganjaran tersirat, beta, varian dan had latihan keutamaan langsung.

Laluan panduan yang berkaitanPengoptimuman Keutamaan Langsung
soalan 1 daripada 8

Apakah yang DPO hapuskan berbanding RLHF tradisional?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang DPO hapuskan berbanding RLHF tradisional?
    • Model ganjaran yang berasingan dan gelung pembelajaran pengukuhan
    • Keperluan untuk sebarang data keutamaan manusia
    • Model bahasa pralatihan asas
    • Penggunaan log-kebarangkalian
  2. Apakah data yang terdiri daripada satu contoh latihan DPO?
    • Skor ganjaran segera dan angka
    • Gesaan dengan jawapan yang dipilih dan ditolak
    • Satu jawapan yang pantas dan satu jawapan yang betul
    • Hanya output model ganjaran
  3. Apakah peranan yang dimainkan oleh model rujukan dalam DPO?
    • Ia menjana respons yang ditolak
    • Ia menjaringkan respons dengan ganjaran yang jelas
    • Ia adalah garis dasar beku yang diukur oleh dasar untuk mengehadkan drift
    • Ia menggantikan data latihan
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. Apakah parameter beta (suhu) dalam DPO dikawal?
    • Sejauh mana dasar itu disimpan rapat dengan model rujukan
    • Kadar pembelajaran pengoptimum
    • Bilangan pasangan keutamaan
    • Saiz perbendaharaan kata
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio