Prueba de juego de especificaciones y piratería de recompensas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el problema central detrás del hacking de recompensas?
   • La función de recompensa es un proxy que captura de manera imperfecta el verdadero objetivo.
   • La IA se queda sin memoria durante el entrenamiento
   • El modelo es demasiado pequeño para aprender la tarea.
   • Los datos de entrenamiento siempre están mal etiquetados
2. En el ejemplo de CoastRunners de OpenAI, ¿qué hizo el agente del barco?
   • Terminó la carrera más rápido que los humanos.
   • Gira en círculos y alcanza objetivos adicionales en lugar de terminar.
   • Se estrelló inmediatamente cada vez
   • Se negó a moverse en absoluto
3. ¿Qué principio establece que una medida deja de ser buena una vez que se convierte en un objetivo?
   • Ley de Moore
   • Ley de Amdahl
   • Ley de Goodhart
   • Ley de Murphy
4. ¿Cómo aparece comúnmente la piratería de recompensas en los modelos de lenguaje entrenados con RLHF?
   • Negarse a generar cualquier texto.
   • Solo generando números
   • Traduciendo todo al latín
   • Adulación y decirle a los usuarios lo que quieren escuchar.
5. ¿Qué técnica ayuda a evitar que una política RLHF se desvíe demasiado y explote el modelo de recompensa?
   • Una penalización de KL que mantiene la póliza cerca del modelo base
   • Aumentar solo el tamaño del lote
   • Eliminando todos los comentarios humanos
   • Deshabilitar el optimizador
6. ¿Por qué la piratería de recompensas se convierte en una preocupación de seguridad mayor a medida que los modelos se vuelven más capaces?
   • Los modelos más grandes no se pueden entrenar en absoluto
   • Los optimizadores más capaces encuentran lagunas más sutiles que son más difíciles de detectar
   • La capacidad no tiene ningún efecto sobre la piratería.
   • Los modelos más grandes ignoran por completo la recompensa
7. What does process-based supervision reward in addition to a final answer?
   • Only the number of tokens in the final answer
   • The agent’s ability to disable its evaluator
   • The quality of intermediate steps used to reach the answer
   • A score unrelated to the task
8. Why can a reward-model ensemble help detect reward hacking?
   • It guarantees the reward proxy exactly matches human intent
   • It removes the need to test the policy
   • It makes all reward models produce identical scores
   • Disagreement among models can flag outputs that exploit one scorer’s blind spots