Gids-gekoppelde quiz · Moeilijk Niveau

Speculatieve streaming en multi-token voorspellingsquiz

Controleert conceptvoorstellen, doelverificatie, geaccepteerde voorvoegsels, multi-tokenkoppen en waarom acceptatiegraad de decoderingssnelheid beïnvloedt.

Vraag 1 van 8

Waarom is standaard autoregressieve decodering vaak traag op een GPU?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom is standaard autoregressieve decodering vaak traag op een GPU?
    • Tokens worden één voor één geproduceerd, waardoor de GPU per stap onderbenut blijft
    • De GPU heeft onmiddellijk geen geheugen meer
    • Het moet voor elk token opnieuw trainen
    • De woordenschat is te klein
  2. Wat doet een 'tekenaar' bij speculatieve decodering?
    • Het schrijft alleen het definitieve antwoord
    • Het stelt goedkoop verschillende kandidaat-toekomstige tokens voor
    • Het verwijdert tokens met een lage waarschijnlijkheid
    • Het comprimeert de modelgewichten
  3. Hoe wordt de uitvoerkwaliteit behouden bij speculatieve decodering?
    • Door de kansen af te ronden naar nul
    • Door een grotere woordenschat te gebruiken
    • Door verificatie die alleen tokens accepteert die overeenkomen met de doeldistributie
    • Door de verificatie helemaal over te slaan
  4. Wat onderscheidt multi-token-voorspellingen in Medusa-stijl van klassieke speculatieve decodering?
    • Er zijn twee afzonderlijke grote modellen nodig
    • Het werkt alleen voor het genereren van afbeeldingen
    • Het elimineert de noodzaak van een voorwaartse pass
    • Het voegt extra lichtgewicht voorspellingskoppen toe, zodat één model kan worden opgesteld en geverifieerd
  5. Waarom kan een transformator tijdens het decoderen veel kandidaatposities bijna net zo goedkoop verifiëren als één?
    • Omdat het decoderen geheugen-bandbreedte-gebonden is en niet computer-gebonden
    • Omdat het het hele internet in de cache opslaat
    • Omdat verificatie de aandachtslagen overslaat
    • Omdat de GPU-kloksnelheid verdubbelt
  6. Wat bepaalt in de eerste plaats de versnelling van speculatieve of multi-token-methoden?
    • De kleur van de GPU
    • Het gemiddelde aantal tokens dat per stap wordt geaccepteerd
    • De lengte van de naam van het model
    • De grootte van de schijf
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution