Quiz itératif sur le DPO et le réglage des préférences en ligne

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Qu’est-ce que le DPO évite par rapport aux exigences du RLHF (PPO) traditionnel ?
   • Formation d'un modèle de récompense explicite distinct
   • Toutes les données d'entraînement
   • Utiliser un réseau de neurones
   • Les préférences humaines entièrement
2. Pourquoi un DPO itératif (en ligne) est-il souvent préférable à une exécution unique du DPO sur un ensemble de données fixe ?
   • Il n'a pas besoin d'étiquettes de préférence
   • Il maintient les données de formation conformes à la politique et à jour à mesure que le modèle change
   • Il supprime le modèle de référence
   • Cela ne fonctionne que pour les images
3. Quel rôle joue le modèle de référence dans la perte du DPO ?
   • Il génère la sortie utilisateur finale
   • Il étiquette les préférences
   • Il ancre la politique via un rapport log-probabilité, contrôlant les écarts
   • Il remplace le tokenizer
4. Dans une seule itération de DPO en ligne, quelle est la séquence typique ?
   • Supprimez le modèle, puis effectuez un nouvel entraînement à partir de zéro
   • Réétiquetez uniquement les anciennes données sans échantillonnage
   • Former un CNN sur les réponses
   • Échantillonnez de nouvelles réponses, jugez les préférences, puis exécutez une mise à jour du DPO
5. Que signifie l'hyperparamètre bêta dans le contrôle DPO ?
   • Dans quelle mesure la politique s'écarte-t-elle du modèle de référence
   • La taille du vocabulaire
   • Le nombre de GPU
   • La résolution des images
6. Quelle est l’idée clé derrière le DPO itératif « auto-récompensé » ?
   • Le modèle n'utilise jamais de préférences
   • Le modèle génère et juge ses propres paires de réponses pour créer des données d'entraînement
   • Les humains doivent étiqueter chaque paire
   • Il n'utilise que des récompenses aléatoires
7. Who can label response preferences in an online DPO iteration?
   • Only the tokenizer
   • Only the reference policy’s embedding layer
   • Human raters or an AI judge such as a reward model
   • A discriminator that never sees responses
8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
   • Training no model parameters
   • Removing all evaluation from the pipeline
   • Storing every possible response in advance
   • Repeated response generation and preference labeling between updates