Decodificación especulativa con EAGLE Quiz

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la idea central detrás de la decodificación especulativa?
   • Un redactor barato propone múltiples tokens que el modelo grande verifica en una pasada paralela
   • Comprimir los pesos del modelo a la mitad de precisión
   • Saltar capas de la red al azar
   • Almacenamiento en caché de cada oración de salida posible por adelantado
2. ¿En qué se diferencia EAGLE de los anteriores enfoques de decodificación especulativa?
   • Elimina el paso de verificación por completo.
   • Se dibuja en el espacio de características ocultas del modelo en lugar de directamente en el nivel del token.
   • Utiliza un modelo más grande y completamente separado como redactor.
   • Sólo funciona para la generación de imágenes.
3. Why is speculative decoding considered lossless when implemented with exact verification?
   • Every draft token is accepted unconditionally
   • The drafter always predicts the target’s next token
   • The acceptance and correction procedure preserves the target model’s output distribution
   • The target model is never evaluated
4. ¿Qué problema en la redacción de características de EAGLE ayuda a resolver la retroalimentación de la incrustación del token anterior?
   • Fragmentación de la memoria en la GPU.
   • Discrepancia de tokenizador entre idiomas
   • Sobrecalentamiento del hardware
   • La incertidumbre/ambigüedad de predecir la siguiente característica
5. ¿Qué añadió EAGLE-2 sobre el EAGLE original?
   • Un árbol de borrador dinámico que adapta cuántos candidatos proponer
   • Un borrador fijo de un solo token
   • Extracción del cabezal LM
   • Entrenamiento solo con el doble de datos
6. ¿Por qué el cuello de botella autorregresivo ralentiza la generación simple de LLM?
   • El modelo se vuelve a entrenar después de cada token.
   • Cada nuevo token necesita un paso completo a través de miles de millones de parámetros antes de que pueda comenzar el siguiente.
   • Los tokens se almacenan en el disco entre pasos.
   • La GPU debe reiniciarse por token
7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
   • The tokenizer’s vocabulary file alone
   • The optimizer’s momentum buffer
   • The target model’s language-model head
   • The KV-cache allocator
8. What change does EAGLE-3 make to the original feature-drafting constraint?
   • It replaces the target model with a tokenizer
   • It disables target verification
   • It requires a separate human drafter
   • It removes a feature-prediction constraint to improve scaling