Prueba de alineación de IA

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. En la investigación de alineación, ¿qué describe el término "piratería de recompensas"?
   • Un modelo que se niega a optimizar su recompensa porque la tarea parece perjudicial
   • Un agente explota fallas en su señal de recompensa en lugar de realizar la tarea prevista.
   • Un atacante roba los pesos del modelo de recompensa para volver a entrenar un sistema competidor
   • Los desarrolladores aumentan manualmente los valores de recompensa para acelerar la convergencia durante el entrenamiento
2. En RLHF, ¿cuál es el papel del modelo de recompensa?
   • Reemplaza completamente a los evaluadores humanos al escribir las respuestas de referencia para realizar ajustes
   • Almacena una lista fija de palabras prohibidas que la política nunca puede generar.
   • Genera nuevo texto de preentrenamiento para que el modelo base tenga más datos de los que aprender
   • Aprende de las comparaciones de preferencias humanas y califica los resultados para guiar la política.
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • IA constitucional
6. ¿Qué intenta resolver la investigación sobre "supervisión escalable"?
   • Cómo reducir la cantidad de parámetros manteniendo constante la precisión
   • Cómo los humanos pueden supervisar la IA en tareas demasiado difíciles de evaluar directamente
   • Cómo ofrecer un modelo a millones de usuarios a la vez sin aumentar la latencia
   • Cómo escalar eficientemente los clústeres de capacitación en múltiples centros de datos
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious