Gids-gekoppelde quiz · Middelmatig Niveau

Speculatieve decoderingsquiz

Behandelt draft-and-verify decoding, het behouden van de exacte doeldistributie, acceptatiegatiemarières en praktijkmetingen van de versnelling.

Gerelateerde gidspadenSpeculatieve decodering
Vraag 1 van 8

Hoe versnelt speculatieve decodering het genereren van een groot model?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe versnelt speculatieve decodering het genereren van een groot model?
    • Een klein conceptmodel raadt verschillende tokens die het grote model parallel verifieert
    • Het model permanent tot de helft van zijn grootte comprimeren
    • Het verwijderen van het aandachtsmechanisme
    • Het model trainen op meer gegevens
  2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
    • Each token requires internet access
    • Repeated reads of large model weights can make decoding memory-bandwidth bound
    • The model permanently stores a full copy of every possible output
    • The tokenizer performs the model’s matrix multiplications
  3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
    • The whole conversation is thrown away and restarted from scratch
    • Het conceptmodel wordt onmiddellijk omgeschoold
    • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
    • De uitvoerkwaliteit gaat permanent achteruit
  4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
    • It is always lower quality but faster
    • It is identical only when the draft model is larger
    • It becomes deterministic regardless of target sampling
    • It is identical in distribution
  5. Wat bepaalt het meest direct de snelheid van speculatieve decodering?
    • Het acceptatiepercentage van de gissingen van het conceptmodel
    • De kleur van de GPU
    • De lengte van de naam van het model
    • Het tijdstip van de dag
  6. Wat hebben Medusa en EAGLE gemeen als aanpak?
    • Ze vereisen kwantumhardware
    • Ze elimineren de noodzaak van een afzonderlijk, zelfstandig conceptmodel
    • Ze verwijderen het doelmodel
    • Ze werken alleen met afbeeldingen
  7. What should a serving team measure before claiming speculative decoding will speed up its workload?
    • Only the target model’s parameter count
    • Only whether the draft produces fluent text
    • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
    • The number of tokenizer files
  8. In exact speculative sampling, what happens when a proposed token is rejected?
    • The whole conversation is discarded
    • The target model is permanently changed
    • The rejected token is kept without verification
    • A correction step samples from the distribution needed to preserve the target model’s output distribution