Quiz sur l'optimisation des préférences directes

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Qu’est-ce que le DPO élimine par rapport au RLHF traditionnel ?
   • Le modèle de récompense séparé et la boucle d'apprentissage par renforcement
   • Le besoin de données sur les préférences humaines
   • Le modèle de langage pré-entraîné de base
   • L'utilisation des log-probabilités
2. De quelles données se compose un seul exemple de formation DPO ?
   • Une invite et un score de récompense numérique
   • Une invite avec une réponse choisie et une réponse rejetée
   • Une invite et une seule bonne réponse
   • Uniquement la sortie d'un modèle de récompense
3. Quel rôle joue le modèle de référence dans le DPO ?
   • Il génère les réponses rejetées
   • Il note les réponses avec des récompenses explicites
   • Il s’agit de la référence gelée par rapport à laquelle la politique est mesurée pour limiter la dérive.
   • Il remplace les données d'entraînement
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Que fait le paramètre bêta (température) dans le contrôle DPO ?
   • Dans quelle mesure la politique reste-t-elle proche du modèle de référence
   • Le taux d'apprentissage de l'optimiseur
   • Le nombre de paires de préférences
   • La taille du vocabulaire
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio