Kvíz spojený s průvodcem · Střední úroveň

Přímý kvíz optimalizace preferencí

Projděte si preferenční páry DPO, referenční politiku, implicitní odměny, beta verzi, varianty a limity přímého tréninku preferencí.

Související vodicí cestyPřímá optimalizace preferencí
Otázka 1 z 8

Co eliminuje DPO ve srovnání s tradičním RLHF?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co eliminuje DPO ve srovnání s tradičním RLHF?
    • Samostatný model odměn a výuková smyčka posílení
    • Potřeba jakýchkoli údajů o lidských preferencích
    • Základní předtrénovaný jazykový model
    • Použití logaritmických pravděpodobností
  2. Z jakých údajů se skládá jeden příklad školení DPO?
    • Výzva a číselné skóre odměny
    • Výzva s vybranou a odmítnutou odpovědí
    • Výzva a jediná správná odpověď
    • Pouze výstup modelu odměny
  3. Jakou roli hraje referenční model v DPO?
    • Generuje odmítnuté odpovědi
    • Hodnotí odpovědi explicitními odměnami
    • Je to zmrazená základní čára, podle které se měří politika, aby se omezil posun
    • Nahrazuje tréninková data
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. Co řídí parametr beta (teplota) v DPO?
    • Jak silně je politika udržována blízko referenčnímu modelu
    • Rychlost učení optimalizátoru
    • Počet preferenčních párů
    • Velikost slovní zásoby
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio