Cuestionario vinculado a una guía · Medio Nivel
Prueba de decodificación de cabezas de Medusa
Revise los cabezales de predicción de tokens múltiples, los árboles candidatos, la verificación de atención de los árboles, la aceptación del prefijo más largo y la preservación de la distribución de Medusa.
Pregunta 1 de 8
¿Qué predicen las cabezas extra de Medusa?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Qué predicen las cabezas extra de Medusa?
- Múltiples tokens futuros en diferentes posiciones por delante
- La pérdida de entrenamiento del modelo.
- Qué GPU usar
- El título de la imagen de un token.
- Under which Medusa configuration does the paper describe lossless inference acceleration?
- Comprime perfectamente los pesos del modelo.
- Medusa-1 with a frozen backbone and exact verification against the original model
- Nunca comete errores de gramática.
- Elimina la necesidad de un vocabulario.
- ¿En qué estructura están dispuestas las continuaciones candidatas de Medusa para su verificación?
- Una lista plana puntuada uno por uno
- una tabla hash
- Un árbol marcado en una sola pasada con una máscara de atención de árboles
- Un bucle recurrente sobre cada token.
- ¿Cuál es una ventaja clave de Medusa sobre la decodificación especulativa del modelo borrador?
- Requiere dos modelos grandes separados.
- Sólo funciona en imágenes.
- Elimina el modelo base después de su uso.
- Evita la necesidad de un modelo de borrador separado al agregar cabezales al existente.
- ¿Aproximadamente qué aceleración suele informar Medusa?
- Alrededor de 2-3x
- Aproximadamente 0,5x (más lento)
- Exactamente 100x
- Ningún cambio mensurable
- ¿Qué es arquitectónicamente cada cabeza de Medusa individual?
- Un transformador duplicado completo.
- Una pequeña capa residual de avance (MLP) encima del estado oculto base
- Un codificador de imágenes convolucional
- Un tokenizador separado
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence