Prueba de optimización de preferencias directas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué elimina el DPO en comparación con el RLHF tradicional?
   • El modelo de recompensa separado y el ciclo de aprendizaje por refuerzo
   • La necesidad de datos sobre preferencias humanas.
   • El modelo de lenguaje base previamente entrenado
   • El uso de probabilidades logarítmicas
2. ¿De qué datos consta un único ejemplo de formación de DPO?
   • Una puntuación de recompensa numérica y una indicación
   • Un mensaje con una respuesta elegida y una rechazada.
   • Una pronta y una única respuesta correcta.
   • Solo el resultado de un modelo de recompensa
3. ¿Qué papel juega el modelo de referencia en el DPO?
   • Genera las respuestas rechazadas.
   • Califica respuestas con recompensas explícitas.
   • Es la línea de base congelada con la que se mide la política para limitar la deriva.
   • Reemplaza los datos de entrenamiento.
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. ¿Qué controla el parámetro beta (temperatura) en DPO?
   • Qué tan cerca se mantiene la política del modelo de referencia
   • La tasa de aprendizaje del optimizador.
   • El número de pares de preferencias.
   • El tamaño del vocabulario
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio