Quiz de jeu sur le piratage de récompenses et les spécifications

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel est le principal problème derrière le piratage des récompenses ?
   • La fonction de récompense est un proxy qui capture imparfaitement le véritable objectif
   • L'IA manque de mémoire pendant l'entraînement
   • Le modèle est trop petit pour apprendre la tâche
   • Les données d'entraînement sont toujours mal étiquetées
2. Dans l'exemple CoastRunners de OpenAI, qu'a fait l'agent du bateau ?
   • J'ai terminé la course plus vite que les humains
   • Tourné en rond en atteignant des cibles bonus au lieu de terminer
   • Crashé immédiatement à chaque fois
   • Refusé du tout de bouger
3. Quel principe stipule qu’une mesure cesse d’être bonne une fois qu’elle devient un objectif ?
   • Loi de Moore
   • La loi d'Amdahl
   • Loi de Goodhart
   • La loi de Murphy
4. Comment le piratage de récompense apparaît-il généralement dans les modèles de langage formés avec RLHF ?
   • Refuser de générer du texte
   • Afficher uniquement des nombres
   • Tout traduire en latin
   • Sycophanie et dire aux utilisateurs ce qu'ils veulent entendre
5. Quelle technique permet d’éviter qu’une politique RLHF ne dérive trop loin et n’exploite le modèle de récompense ?
   • Une pénalité KL gardant la politique proche du modèle de base
   • Augmenter uniquement la taille du lot
   • Supprimer tous les commentaires humains
   • Désactiver l'optimiseur
6. Pourquoi le piratage des récompenses devient-il un problème de sécurité plus important à mesure que les modèles deviennent plus performants ?
   • Les modèles plus gros ne peuvent pas du tout être formés
   • Des optimiseurs plus compétents trouvent des failles plus subtiles et plus difficiles à détecter
   • La capacité n'a aucun effet sur le piratage
   • Les modèles plus grands ignorent complètement la récompense
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots