Quiz collegato alla guida · Medio Livello
Quiz sulle teste di decodificazione di Medusa
Esamina le teste di previsione multi-token di Medusa, gli alberi candidati, la verifica dell'attenzione degli alberi, l'accettazione del prefisso più lungo e la conservazione della distribuzione.
Domanda 1 di 8
Cosa predicono le teste di Medusa extra?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa predicono le teste di Medusa extra?
- Più token futuri in diverse posizioni future
- La perdita di allenamento del modello
- Quale GPU utilizzare
- La didascalia dell'immagine per un token
- Under which Medusa configuration does the paper describe lossless inference acceleration?
- Comprime perfettamente i pesi del modello
- Medusa-1 with a frozen backbone and exact verification against the original model
- Non commette mai errori di grammatica
- Elimina la necessità di un vocabolario
- In quale struttura sono organizzate le continuazioni candidate di Medusa per la verifica?
- Un elenco piatto segnato uno per uno
- Una tabella hash
- Un albero valutato in un unico passaggio con una maschera di attenzione all'albero
- Un ciclo ricorrente su ciascun token
- Qual è il vantaggio chiave di Medusa rispetto alla decodificazione speculativa del modello in bozza?
- Richiede due modelli grandi separati
- Funziona solo sulle immagini
- Cancella il modello base dopo l'uso
- Evita la necessità di una bozza di modello separata aggiungendo teste a quello esistente
- All'incirca, quale accelerazione segnala tipicamente Medusa?
- Circa 2-3x
- Circa 0,5x (più lento)
- Esattamente 100x
- Nessun cambiamento misurabile
- Cos'è ogni singola testa di Medusa, dal punto di vista architettonico?
- Un trasformatore duplicato completo
- Un piccolo strato feed-forward residuo (MLP) sopra lo stato nascosto di base
- Un codificatore di immagini convoluzionale
- Un tokenizzatore separato
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence