Gids-gekoppelde quiz · Middelmatig Niveau
Medusa-decodeerhoofdenquiz
Bekijk Medusa's multi-token voorspellingskoppen, kandidaatbomen, verificatie van boomaandacht, acceptatie van het langste voorvoegsel en behoud van distributie.
Vraag 1 van 8
Wat voorspellen de extra Medusa-hoofden?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat voorspellen de extra Medusa-hoofden?
- Meerdere toekomstige tokens op verschillende posities verderop
- Het trainingsverlies van het model
- Welke GPU te gebruiken
- Het afbeeldingsbijschrift voor een token
- Under which Medusa configuration does the paper describe lossless inference acceleration?
- Het comprimeert de modelgewichten perfect
- Medusa-1 with a frozen backbone and exact verification against the original model
- Het maakt nooit fouten in de grammatica
- Het elimineert de noodzaak van een woordenschat
- In welke structuur zijn Medusa's kandidaatvoortzettingen gerangschikt voor verificatie?
- Een platte lijst scoorde één voor één
- Een hashtabel
- Een boom scoorde in één keer met een boomaandachtsmasker
- Een terugkerende lus over elk token
- Wat is een belangrijk voordeel van Medusa ten opzichte van speculatieve decodering in conceptmodellen?
- Er zijn twee afzonderlijke grote modellen nodig
- Het werkt alleen op afbeeldingen
- Het verwijdert het basismodel na gebruik
- Het vermijdt dat er een apart conceptmodel nodig is door heads toe te voegen aan het bestaande
- Welke versnelling rapporteert Medusa doorgaans ongeveer?
- Ongeveer 2-3x
- Ongeveer 0,5x (langzamer)
- Precies 100x
- Geen meetbare verandering
- Wat is architectonisch gezien elk individueel Medusa-hoofd?
- Een volledig dubbele transformator
- Een kleine resterende feed-forward (MLP) laag bovenop de verborgen basisstatus
- Een convolutionele beeldencoder
- Een aparte tokenizer
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence