Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor optimalisatie van directe voorkeuren
Beoordeel DPO voorkeurspaar‑sets, referentie‑policy, impliciete beloningen, beta, varianten, en limieten van directe voorkeurstraining.
Vraag 1 van 8
Wat elimineert DPO vergeleken met traditionele RLHF?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat elimineert DPO vergeleken met traditionele RLHF?
- Het afzonderlijke beloningsmodel en de leerlus voor versterking
- De behoefte aan gegevens over menselijke voorkeuren
- Het basisvoorgetrainde taalmodel
- Het gebruik van log-kansen
- Uit welke gegevens bestaat een enkel DPO-trainingsvoorbeeld?
- Een prompt en een numerieke beloningsscore
- Een prompt met een gekozen en een afgewezen antwoord
- Een prompt en één enkel correct antwoord
- Alleen de output van een beloningsmodel
- Welke rol speelt het referentiemodel bij DPO?
- Het genereert de afgewezen antwoorden
- Het scoort reacties met expliciete beloningen
- Het is de bevroren basislijn waartegen het beleid wordt afgemeten om drift te beperken
- Het vervangt de trainingsgegevens
- How does the DPO loss use a labeled preference pair?
- It regresses both responses to the same scalar target
- It trains a separate value critic to predict token-level returns
- It maximizes the rejected response without a reference
- It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
- Wat regelt de bètaparameter (temperatuur) in DPO?
- Hoe sterk het beleid dicht bij het referentiemodel wordt gehouden
- De leersnelheid van de optimizer
- Het aantal voorkeursparen
- De woordenschatgrootte
- Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
- PPO, which requires a value critic for every label
- KTO, a prospect-theoretic objective for binary desirability feedback
- DARTS, which searches differentiable network cells
- Beam search, which changes model weights from rankings
- In a standard DPO preference example, which response is preferred?
- The response with more tokens by definition
- The response with the lowest reference likelihood
- The response selected by the preference labeler for the given prompt
- A random response unrelated to the prompt
- In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
- A separately trained scalar reward-model head
- A human-written point score for each token
- The average sequence length of preference data
- Beta times the policy/reference log-probability ratio