Prueba de transmisión especulativa y predicción de tokens múltiples

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Por qué la decodificación autorregresiva estándar suele ser lenta en una GPU?
   • Los tokens se producen uno a la vez, lo que deja a la GPU infrautilizada en cada paso.
   • La GPU se queda sin memoria inmediatamente
   • Debe volver a entrenarse en cada token.
   • El vocabulario es demasiado pequeño.
2. ¿Qué hace un 'redactor' en la decodificación especulativa?
   • Escribe la respuesta final solo.
   • Propone varios tokens futuros candidatos a bajo precio
   • Elimina tokens de baja probabilidad.
   • Comprime los pesos del modelo.
3. ¿Cómo se preserva la calidad de salida en la decodificación especulativa?
   • Redondeando probabilidades a cero
   • Usando un vocabulario más amplio
   • Mediante verificación que acepta solo tokens que coincidan con la distribución objetivo
   • Saltándose la verificación por completo
4. ¿Qué distingue la predicción multitoken al estilo Medusa de la decodificación especulativa clásica?
   • Requiere dos modelos grandes separados.
   • Sólo funciona para la generación de imágenes.
   • Elimina la necesidad de cualquier pase hacia adelante.
   • Agrega cabezales de predicción extra livianos para que un modelo redacte y verifique
5. ¿Por qué un transformador puede verificar muchas posiciones candidatas de manera casi tan económica como una sola durante la decodificación?
   • Porque la decodificación está limitada al ancho de banda de la memoria, no a la computación
   • Porque almacena en caché todo Internet.
   • Porque la verificación salta las capas de atención
   • Porque la velocidad del reloj de la GPU se duplica
6. ¿Qué determina principalmente la aceleración de los métodos especulativos o de múltiples tokens?
   • El color de la GPU
   • El número promedio de tokens aceptados por paso.
   • La longitud del nombre del modelo.
   • El tamaño del disco
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution