Cuestionario vinculado a una guía · Medio Nivel

Prueba de optimización de preferencias de ratio de probabilidades

Explica el objetivo de preferencia libre del modelo de referencia de ORPO, la penalización del índice de probabilidades y la capacitación combinada supervisada y de preferencia.

Rutas de guía relacionadasOptimización de la preferencia del índice de probabilidades
Pregunta 1 de 8

¿Cuál es la principal ventaja práctica de ORPO sobre métodos como DPO?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es la principal ventaja práctica de ORPO sobre métodos como DPO?
    • Elimina la necesidad de un modelo de referencia separado.
    • No requiere ningún dato de entrenamiento
    • Sólo funciona en modelos de imagen.
    • Garantiza cero alucinaciones
  2. ¿Con qué se compara el 'odds ratio' en ORPO?
    • Velocidad de entrenamiento versus precisión
    • Las probabilidades de la respuesta elegida versus la respuesta rechazada
    • Dos ritmos de aprendizaje diferentes
    • El tamaño del modelo versus el tamaño del conjunto de datos
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. ¿Qué combinación se describe mejor la pérdida de ORPO?
    • Entropía cruzada SFT más un término de preferencia de ratio de probabilidades ponderado
    • Sólo una puntuación del modelo de recompensa
    • Un retorno puro de aprendizaje por refuerzo
    • Inyección de ruido aleatorio
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • El tamaño del vocabulario del tokenizador.
    • El número de cabezas de atención.
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation