Prueba de decodificación contrastiva

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. En la decodificación contrastiva, ¿qué papel juega el pequeño modelo "aficionado"?
   • Sus probabilidades de registro se restan para suprimir los modos de falla compartidos.
   • Genera el texto de salida final directamente.
   • Se afina sobre los errores del experto.
   • Reemplaza al experto cuando el experto tiene dudas.
2. ¿Por qué restar las probabilidades del aficionado reduce la repetición y la producción insípida?
   • El aficionado está entrenado para no repetir nunca palabras.
   • Ambos modelos prefieren los tokens genéricos y repetitivos, por lo que el contraste los cancela.
   • El aficionado elimina tokens duplicados tras generación
   • La repetición es imposible una vez que dos modelos votan
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. ¿Cuál es aproximadamente la fórmula de puntuación en la decodificación contrastiva?
   • iniciar sesión p_amateur menos iniciar sesión p_expert
   • p_experto veces p_amateur
   • El promedio de las dos probabilidades.
   • log p_expert menos un coeficiente multiplicado por log p_amateur
5. Una ventaja práctica clave de la decodificación contrastiva es que:
   • Funciona en tiempo de inferencia sin entrenamiento adicional.
   • Requiere reentrenamiento conjunto de ambos modelos.
   • Sólo funciona en tareas de clasificación.
   • Elimina la necesidad de un modelo grande.
6. ¿Qué método posterior extiende la idea contrastiva a las capas propias de un solo modelo?
   • búsqueda de haz
   • DoLa, que contrasta las capas tempranas y tardías
   • Decodificación codiciosa
   • Escalado de temperatura
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0.4
   • 0.1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time