Cuestionario vinculado a una guía · Medio Nivel

DPO iterativo y cuestionario de ajuste de preferencias en línea

Descubra cómo el DPO iterativo actualiza los datos de preferencias, utiliza jueces e intercambia rondas de alineación repetidas por costos y sesgos adicionales.

Rutas de guía relacionadasDpo iterativo y ajuste de preferencias en línea
Pregunta 1 de 8

¿Qué evita DPO que requiere el RLHF tradicional (PPO)?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué evita DPO que requiere el RLHF tradicional (PPO)?
    • Entrenar un modelo de recompensa explícito separado
    • Cualquier dato de entrenamiento
    • Usando una red neuronal
    • Preferencias humanas por completo.
  2. ¿Por qué el DPO iterativo (en línea) suele ser mejor que ejecutar el DPO una vez en un conjunto de datos fijo?
    • No necesita etiquetas de preferencias.
    • Mantiene los datos de entrenamiento actualizados y dentro de la política a medida que cambia el modelo.
    • Elimina el modelo de referencia.
    • Sólo funciona para imágenes.
  3. ¿Qué papel juega el modelo de referencia en la pérdida del DPO?
    • Genera la salida del usuario final.
    • Etiqueta las preferencias
    • Ancla la política a través de un índice de probabilidad logarítmica, controlando la desviación.
    • Reemplaza el tokenizador.
  4. En una única iteración de DPO en línea, ¿cuál es la secuencia típica?
    • Elimine el modelo y luego vuelva a entrenarlo desde cero.
    • Solo vuelva a etiquetar datos antiguos sin muestreo
    • Entrene a una CNN sobre las respuestas
    • Pruebe nuevas respuestas, juzgue las preferencias y luego ejecute una actualización de DPO
  5. ¿Qué controla el hiperparámetro beta en DPO?
    • En qué medida se desvía la política del modelo de referencia
    • El tamaño del vocabulario
    • La cantidad de GPU
    • La resolución de la imagen
  6. ¿Cuál es la idea clave detrás del DPO iterativo 'autorecompensante'?
    • El modelo nunca utiliza preferencias.
    • El modelo genera y juzga sus propios pares de respuestas para crear datos de entrenamiento.
    • Los humanos deben etiquetar cada par.
    • Solo usa recompensas aleatorias.
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates