Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor optimalisatie van directe voorkeuren

Beoordeel DPO voorkeurspaar‑sets, referentie‑policy, impliciete beloningen, beta, varianten, en limieten van directe voorkeurstraining.

Gerelateerde gidspadenDirecte voorkeursoptimalisatie
Vraag 1 van 8

Wat elimineert DPO vergeleken met traditionele RLHF?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat elimineert DPO vergeleken met traditionele RLHF?
    • Het afzonderlijke beloningsmodel en de leerlus voor versterking
    • De behoefte aan gegevens over menselijke voorkeuren
    • Het basisvoorgetrainde taalmodel
    • Het gebruik van log-kansen
  2. Uit welke gegevens bestaat een enkel DPO-trainingsvoorbeeld?
    • Een prompt en een numerieke beloningsscore
    • Een prompt met een gekozen en een afgewezen antwoord
    • Een prompt en één enkel correct antwoord
    • Alleen de output van een beloningsmodel
  3. Welke rol speelt het referentiemodel bij DPO?
    • Het genereert de afgewezen antwoorden
    • Het scoort reacties met expliciete beloningen
    • Het is de bevroren basislijn waartegen het beleid wordt afgemeten om drift te beperken
    • Het vervangt de trainingsgegevens
  4. How does the DPO loss use a labeled preference pair?
    • It regresses both responses to the same scalar target
    • It trains a separate value critic to predict token-level returns
    • It maximizes the rejected response without a reference
    • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
  5. Wat regelt de bètaparameter (temperatuur) in DPO?
    • Hoe sterk het beleid dicht bij het referentiemodel wordt gehouden
    • De leersnelheid van de optimizer
    • Het aantal voorkeursparen
    • De woordenschatgrootte
  6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
    • PPO, which requires a value critic for every label
    • KTO, a prospect-theoretic objective for binary desirability feedback
    • DARTS, which searches differentiable network cells
    • Beam search, which changes model weights from rankings
  7. In a standard DPO preference example, which response is preferred?
    • The response with more tokens by definition
    • The response with the lowest reference likelihood
    • The response selected by the preference labeler for the given prompt
    • A random response unrelated to the prompt
  8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
    • A separately trained scalar reward-model head
    • A human-written point score for each token
    • The average sequence length of preference data
    • Beta times the policy/reference log-probability ratio