Test de optimizare directă a preferințelor

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce elimină DPO în comparație cu RLHF tradițională?
   • Modelul separat de recompensă și bucla de învățare prin întărire
   • Necesitatea oricăror date despre preferințele umane
   • Modelul de bază de limbaj preantrenat
   • Utilizarea log-probabilităților
2. Din ce date constă un singur exemplu de formare DPO?
   • Un prompt și un scor de recompensă numeric
   • Un prompt cu un răspuns ales și unul respins
   • Un prompt și un singur răspuns corect
   • Doar rezultatul unui model de recompensă
3. Ce rol joacă modelul de referință în DPO?
   • Acesta generează răspunsurile respinse
   • Punctează răspunsurile cu recompense explicite
   • Este valoarea de bază înghețată cu care se măsoară politica pentru a limita deriva
   • Acesta înlocuiește datele de antrenament
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Ce controlează parametrul beta (temperatura) din DPO?
   • Cât de puternic este menținută politica aproape de modelul de referință
   • Rata de învățare a optimizatorului
   • Numărul de perechi de preferințe
   • Dimensiunea vocabularului
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio