Apprentissage par renforcement à partir du quiz sur la rétroaction humaine

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel est l’objectif principal du RLHF pour un modèle de langage ?
   • Aligner ses résultats sur les préférences humaines en matière de serviabilité et de sécurité
   • Pour augmenter le nombre de paramètres du modèle
   • Pour compresser le modèle pour une inférence plus rapide
   • Pour traduire le modèle dans d'autres langues
2. Qu’est-ce que le modèle de récompense du RLHF apprend réellement à faire ?
   • Générer les réponses finales aux utilisateurs
   • Traduire les invites en une devise de récompense
   • Attribuez un score scalaire reflétant à quel point les humains préféreraient une réponse donnée
   • Décider du taux d'apprentissage du modèle
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Comment les données de préférence sont-elles généralement collectées pour le modèle de récompense ?
   • Les humains écrivent de toutes nouvelles réponses à partir de zéro
   • Le modèle évalue sa propre confiance
   • Les étiquettes aléatoires sont attribuées automatiquement
   • Les humains comparent deux modèles de réponses à la même invite et choisissent la meilleure
5. Quel avantage offre le DPO (Direct Preference Optimization) par rapport au pipeline RLHF classique ?
   • Cela ne nécessite aucune donnée
   • Cela garantit que le modèle ne peut jamais se tromper
   • Il optimise la politique directement à partir des paires de préférences, en ignorant un modèle de récompense distinct et une boucle PPO
   • Cela élimine le besoin de pré-formation
6. Dans RLAIF et Constitutional AI, d’où proviennent la plupart des retours ?
   • À partir d'un modèle d'IA générant ou critiquant des réponses, réduisant l'étiquetage humain
   • Uniquement par des annotateurs humains rémunérés
   • À partir de générateurs de nombres aléatoires
   • Depuis le corpus de pré-formation du modèle directement
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression