Cuestionario vinculado a una guía · Medio Nivel

Normalización de longitud en el cuestionario de optimización de preferencias

Examine cómo los objetivos de ajuste de preferencias manejan la longitud de la respuesta, por qué SimPO normaliza las puntuaciones de los tokens y cómo se evalúan las respuestas concisas.

Rutas de guía relacionadasNormalización de longitud en optimización de preferencias
Pregunta 1 de 8

¿Qué comportamiento indeseable pretende principalmente prevenir la normalización de la longitud en DPO?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué comportamiento indeseable pretende principalmente prevenir la normalización de la longitud en DPO?
    • Modelos que favorecen respuestas más largas independientemente de la calidad real
    • Modelos que se niegan a responder preguntas.
    • Modelos que alucinan hechos
    • Los modelos responden demasiado lento
  2. ¿Por qué la recompensa implícita del DPO estándar tiende a aumentar con la duración de la respuesta?
    • Multiplica la recompensa por la temperatura.
    • Es una suma de diferencias de probabilidad logarítmica por token.
    • Utiliza una bonificación fija por frase.
    • Penaliza explícitamente las respuestas cortas
  3. ¿Cómo aborda SimPO el sesgo de longitud?
    • Duplica el peso del modelo de referencia.
    • Trunca todas las respuestas a una longitud fija.
    • Utiliza la probabilidad logarítmica promedio por token como recompensa.
    • Elimina los datos de preferencias por completo.
  4. Una diferencia estructural notable entre SimPO y DPO estándar es que SimPO:
    • Requiere el doble de datos de entrenamiento
    • Sólo funciona en imágenes
    • Desactiva el descenso de gradiente
    • No utiliza un modelo de referencia separado
  5. ¿Qué práctica de evaluación ayuda a confirmar que un modelo ha mejorado en calidad y no solo en longitud?
    • Informar una tasa de ganancias controlada por la duración
    • Contando parámetros totales
    • Medición de la temperatura de la GPU
    • Aumentar el tamaño del lote
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail