Gids-gekoppelde quiz · Middelmatig Niveau
Speculatieve decoderingsquiz
Behandelt draft-and-verify decoding, het behouden van de exacte doeldistributie, acceptatiegatiemarières en praktijkmetingen van de versnelling.
Vraag 1 van 8
Hoe versnelt speculatieve decodering het genereren van een groot model?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoe versnelt speculatieve decodering het genereren van een groot model?
- Een klein conceptmodel raadt verschillende tokens die het grote model parallel verifieert
- Het model permanent tot de helft van zijn grootte comprimeren
- Het verwijderen van het aandachtsmechanisme
- Het model trainen op meer gegevens
- For a large model at low batch size, why can one-token autoregressive decoding be slow?
- Each token requires internet access
- Repeated reads of large model weights can make decoding memory-bandwidth bound
- The model permanently stores a full copy of every possible output
- The tokenizer performs the model’s matrix multiplications
- In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
- The whole conversation is thrown away and restarted from scratch
- Het conceptmodel wordt onmiddellijk omgeschoold
- The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
- De uitvoerkwaliteit gaat permanent achteruit
- Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
- It is always lower quality but faster
- It is identical only when the draft model is larger
- It becomes deterministic regardless of target sampling
- It is identical in distribution
- Wat bepaalt het meest direct de snelheid van speculatieve decodering?
- Het acceptatiepercentage van de gissingen van het conceptmodel
- De kleur van de GPU
- De lengte van de naam van het model
- Het tijdstip van de dag
- Wat hebben Medusa en EAGLE gemeen als aanpak?
- Ze vereisen kwantumhardware
- Ze elimineren de noodzaak van een afzonderlijk, zelfstandig conceptmodel
- Ze verwijderen het doelmodel
- Ze werken alleen met afbeeldingen
- What should a serving team measure before claiming speculative decoding will speed up its workload?
- Only the target model’s parameter count
- Only whether the draft produces fluent text
- Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
- The number of tokenizer files
- In exact speculative sampling, what happens when a proposed token is rejected?
- The whole conversation is discarded
- The target model is permanently changed
- The rejected token is kept without verification
- A correction step samples from the distribution needed to preserve the target model’s output distribution