Quiz de modélisation de récompense

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel est le résultat principal d’un modèle de récompense pour une paire invite-réponse donnée ?
   • Un seul score scalaire
   • Une réponse en texte intégral
   • Une distribution de probabilité sur le vocabulaire
   • Une liste de jetons préférés
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. Qu’est-ce que la perte du modèle de récompense standard optimise ?
   • La valeur de récompense absolue de chaque réponse
   • La précision de la prédiction du prochain jeton
   • Que la réponse choisie obtient un score supérieur à celle rejetée
   • La longueur des réponses
4. Qu'est-ce que le « piratage de récompense » ?
   • Voler le modèle de récompense d'un concurrent
   • Une méthode pour accélérer la formation
   • Cryptage du signal de récompense
   • La politique exploitant les failles du modèle de récompense pour obtenir des scores élevés sans véritable qualité
5. Comment un modèle de récompense est-il architecturalement dérivé d'un modèle de langage ?
   • En remplaçant la tête de prédiction de jetons par une seule tête de sortie scalaire
   • En ajoutant plus de couches d'attention
   • En supprimant toutes les couches du transformateur
   • En doublant le vocabulaire
6. Comment un modèle de récompense est-il utilisé au moment de l'inférence dans l'échantillonnage au meilleur des N ?
   • Entraîner N modèles de récompense en parallèle
   • Générer plusieurs réponses et utiliser le modèle de récompense pour choisir celle qui obtient le score le plus élevé
   • Sélection des N jetons les plus courants
   • Moyenne de N points de contrôle du modèle
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons