Gids-gekoppelde quiz · Moeilijk Niveau
Speculatieve streaming en multi-token voorspellingsquiz
Controleert conceptvoorstellen, doelverificatie, geaccepteerde voorvoegsels, multi-tokenkoppen en waarom acceptatiegraad de decoderingssnelheid beïnvloedt.
Vraag 1 van 8
Waarom is standaard autoregressieve decodering vaak traag op een GPU?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom is standaard autoregressieve decodering vaak traag op een GPU?
- Tokens worden één voor één geproduceerd, waardoor de GPU per stap onderbenut blijft
- De GPU heeft onmiddellijk geen geheugen meer
- Het moet voor elk token opnieuw trainen
- De woordenschat is te klein
- Wat doet een 'tekenaar' bij speculatieve decodering?
- Het schrijft alleen het definitieve antwoord
- Het stelt goedkoop verschillende kandidaat-toekomstige tokens voor
- Het verwijdert tokens met een lage waarschijnlijkheid
- Het comprimeert de modelgewichten
- Hoe wordt de uitvoerkwaliteit behouden bij speculatieve decodering?
- Door de kansen af te ronden naar nul
- Door een grotere woordenschat te gebruiken
- Door verificatie die alleen tokens accepteert die overeenkomen met de doeldistributie
- Door de verificatie helemaal over te slaan
- Wat onderscheidt multi-token-voorspellingen in Medusa-stijl van klassieke speculatieve decodering?
- Er zijn twee afzonderlijke grote modellen nodig
- Het werkt alleen voor het genereren van afbeeldingen
- Het elimineert de noodzaak van een voorwaartse pass
- Het voegt extra lichtgewicht voorspellingskoppen toe, zodat één model kan worden opgesteld en geverifieerd
- Waarom kan een transformator tijdens het decoderen veel kandidaatposities bijna net zo goedkoop verifiëren als één?
- Omdat het decoderen geheugen-bandbreedte-gebonden is en niet computer-gebonden
- Omdat het het hele internet in de cache opslaat
- Omdat verificatie de aandachtslagen overslaat
- Omdat de GPU-kloksnelheid verdubbelt
- Wat bepaalt in de eerste plaats de versnelling van speculatieve of multi-token-methoden?
- De kleur van de GPU
- Het gemiddelde aantal tokens dat per stap wordt geaccepteerd
- De lengte van de naam van het model
- De grootte van de schijf
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution