Prueba de modelado de recompensas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el resultado principal de un modelo de recompensa para un par de respuesta rápida determinado?
   • Una única puntuación escalar
   • Una respuesta de texto completo
   • Una distribución de probabilidad sobre el vocabulario.
   • Una lista de tokens preferidos
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. ¿Qué optimiza la pérdida del modelo de recompensa estándar?
   • El valor de recompensa absoluto de cada respuesta.
   • La precisión de la predicción del siguiente token
   • Que la respuesta elegida puntúe más que la rechazada
   • La duración de las respuestas.
4. ¿Qué es el 'hacking de recompensas'?
   • Robar el modelo de recompensa de un competidor
   • Un método para acelerar el entrenamiento.
   • Cifrar la señal de recompensa
   • La política que explota las fallas del modelo de recompensa para obtener puntajes altos sin una calidad genuina
5. ¿Cómo se deriva arquitectónicamente un modelo de recompensa a partir de un modelo de lenguaje?
   • Reemplazando el cabezal de predicción de tokens con un único cabezal de salida escalar
   • Añadiendo más capas de atención
   • Eliminando todas las capas del transformador.
   • Duplicando el vocabulario
6. ¿Cómo se utiliza un modelo de recompensa en el momento de la inferencia en el muestreo lo mejor de N?
   • Entrenar N modelos de recompensa en paralelo
   • Generar múltiples respuestas y usar el modelo de recompensa para elegir la que tenga la puntuación más alta
   • Seleccionando los N tokens más comunes
   • Promediando N puntos de control del modelo
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons