Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Spekulatív dekódoló kvíz

Covers draft-and-verify decoding, exact target-distribution preservation, acceptance-rate limits, and practical measurements of speedup.

Kapcsolódó útmutató utakSpekulatív dekódolás
kérdés 1 -ból 8

Hogyan gyorsítja fel a spekulatív dekódolás a generálást egy nagy modellből?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Hogyan gyorsítja fel a spekulatív dekódolás a generálást egy nagy modellből?
    • Egy kis vázlatmodell több tokent sejt, amelyeket a nagy modell párhuzamosan ellenőriz
    • A modell végleges tömörítése méretének felére
    • A figyelemmechanizmus eltávolítása
    • A modell betanítása több adatra
  2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
    • Each token requires internet access
    • Repeated reads of large model weights can make decoding memory-bandwidth bound
    • The model permanently stores a full copy of every possible output
    • The tokenizer performs the model’s matrix multiplications
  3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
    • The whole conversation is thrown away and restarted from scratch
    • A vázlatmodell azonnal átképzésre kerül
    • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
    • A kimenet minősége tartósan romlik
  4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
    • It is always lower quality but faster
    • It is identical only when the draft model is larger
    • It becomes deterministic regardless of target sampling
    • It is identical in distribution
  5. Mi határozza meg a legközvetlenebbül a spekulatív dekódolás gyorsítását?
    • A vázlatmodell találgatásainak elfogadási aránya
    • A GPU színe
    • A modell nevének hossza
    • A napszak
  6. Mi a közös a Medusában és az EAGLE-ben megközelítésként?
    • Kvantumhardvert igényelnek
    • Nincs szükség különálló, önálló vázlatmodellre
    • Törlik a célmodellt
    • Csak képeken dolgoznak
  7. What should a serving team measure before claiming speculative decoding will speed up its workload?
    • Only the target model’s parameter count
    • Only whether the draft produces fluent text
    • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
    • The number of tokenizer files
  8. In exact speculative sampling, what happens when a proposed token is rejected?
    • The whole conversation is discarded
    • The target model is permanently changed
    • The rejected token is kept without verification
    • A correction step samples from the distribution needed to preserve the target model’s output distribution