Prueba de aprendizaje por refuerzo a partir de la retroalimentación humana

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el propósito principal de RLHF para un modelo de lenguaje?
   • Alinear sus resultados con las preferencias humanas de utilidad y seguridad.
   • Para aumentar el recuento de parámetros del modelo
   • Para comprimir el modelo para una inferencia más rápida
   • Para traducir el modelo a otros idiomas.
2. ¿Qué aprende realmente a hacer el modelo de recompensa en RLHF?
   • Generar las respuestas finales a los usuarios.
   • Traducir mensajes a una moneda de recompensa
   • Asigne una puntuación escalar que refleje cuánto preferirían los humanos una respuesta determinada.
   • Decidir la tasa de aprendizaje del modelo.
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. ¿Cómo se recopilan normalmente los datos de preferencias para el modelo de recompensa?
   • Los humanos escriben respuestas completamente nuevas desde cero
   • El modelo valora su propia confianza.
   • Las etiquetas aleatorias se asignan automáticamente
   • Los humanos comparan dos respuestas modelo al mismo mensaje y eligen la mejor
5. ¿Qué ventaja ofrece DPO (Optimización de Preferencia Directa) sobre el canal RLHF clásico?
   • No requiere ningún dato
   • Garantiza que el modelo nunca puede equivocarse.
   • Optimiza la política directamente a partir de pares de preferencias, omitiendo un modelo de recompensa separado y un bucle PPO.
   • Elimina la necesidad de entrenamiento previo.
6. En RLAIF y Constitutional AI, ¿de dónde proviene gran parte de la retroalimentación?
   • Desde un modelo de IA que genera o critica respuestas, reduciendo el etiquetado humano
   • Solo de anotadores humanos pagados
   • De generadores de números aleatorios
   • Del corpus de preentrenamiento del modelo directamente
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression