Gids-gekoppelde quiz · Middelmatig Niveau

Medusa-decodeerhoofdenquiz

Bekijk Medusa's multi-token voorspellingskoppen, kandidaatbomen, verificatie van boomaandacht, acceptatie van het langste voorvoegsel en behoud van distributie.

Gerelateerde gidspadenMedusa-decodeerkoppen
Vraag 1 van 8

Wat voorspellen de extra Medusa-hoofden?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat voorspellen de extra Medusa-hoofden?
    • Meerdere toekomstige tokens op verschillende posities verderop
    • Het trainingsverlies van het model
    • Welke GPU te gebruiken
    • Het afbeeldingsbijschrift voor een token
  2. Under which Medusa configuration does the paper describe lossless inference acceleration?
    • Het comprimeert de modelgewichten perfect
    • Medusa-1 with a frozen backbone and exact verification against the original model
    • Het maakt nooit fouten in de grammatica
    • Het elimineert de noodzaak van een woordenschat
  3. In welke structuur zijn Medusa's kandidaatvoortzettingen gerangschikt voor verificatie?
    • Een platte lijst scoorde één voor één
    • Een hashtabel
    • Een boom scoorde in één keer met een boomaandachtsmasker
    • Een terugkerende lus over elk token
  4. Wat is een belangrijk voordeel van Medusa ten opzichte van speculatieve decodering in conceptmodellen?
    • Er zijn twee afzonderlijke grote modellen nodig
    • Het werkt alleen op afbeeldingen
    • Het verwijdert het basismodel na gebruik
    • Het vermijdt dat er een apart conceptmodel nodig is door heads toe te voegen aan het bestaande
  5. Welke versnelling rapporteert Medusa doorgaans ongeveer?
    • Ongeveer 2-3x
    • Ongeveer 0,5x (langzamer)
    • Precies 100x
    • Geen meetbare verandering
  6. Wat is architectonisch gezien elk individueel Medusa-hoofd?
    • Een volledig dubbele transformator
    • Een kleine resterende feed-forward (MLP) laag bovenop de verborgen basisstatus
    • Een convolutionele beeldencoder
    • Een aparte tokenizer
  7. What does Medusa accept from a verified candidate tree?
    • Every speculative branch regardless of verification
    • Only the shortest candidate token
    • The longest prefix consistent with the base model’s decoding result
    • A random leaf from the tree
  8. How do Medusa’s prediction-head offsets differ?
    • Every head predicts the same next token
    • Each head predicts a different vocabulary
    • The heads predict tokens only after decoding is complete
    • Each head predicts a token at a different position ahead in the sequence