Quiz collegato alla guida · Medio Livello

Quiz sulla decodifica speculativa

Riguarda la decodifica di bozza e verifica, la conservazione esatta della distribuzione target, i limiti del tasso di accettazione e le misurazioni pratiche dell'accelerazione.

Percorsi guida correlatiDecodifica speculativa
Domanda 1 di 8

In che modo la decodifica speculativa accelera la generazione da un modello di grandi dimensioni?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In che modo la decodifica speculativa accelera la generazione da un modello di grandi dimensioni?
    • Un modello di bozza piccolo indovina diversi token che il modello grande verifica in parallelo
    • Compressione permanente del modello a metà delle sue dimensioni
    • Eliminare il meccanismo dell'attenzione
    • Addestramento del modello su più dati
  2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
    • Each token requires internet access
    • Repeated reads of large model weights can make decoding memory-bandwidth bound
    • The model permanently stores a full copy of every possible output
    • The tokenizer performs the model’s matrix multiplications
  3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
    • The whole conversation is thrown away and restarted from scratch
    • La bozza del modello viene riqualificata immediatamente
    • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
    • La qualità dell'output peggiora permanentemente
  4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
    • It is always lower quality but faster
    • It is identical only when the draft model is larger
    • It becomes deterministic regardless of target sampling
    • It is identical in distribution
  5. Cosa determina più direttamente l'accelerazione derivante dalla decodifica speculativa?
    • Il tasso di accettazione delle ipotesi del modello in bozza
    • Il colore della GPU
    • La lunghezza del nome del modello
    • L'ora del giorno
  6. Cosa hanno in comune Medusa ed EAGLE come approcci?
    • Richiedono hardware quantistico
    • Eliminano la necessità di una bozza di modello autonomo separata
    • Eliminano il modello target
    • Funzionano solo sulle immagini
  7. What should a serving team measure before claiming speculative decoding will speed up its workload?
    • Only the target model’s parameter count
    • Only whether the draft produces fluent text
    • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
    • The number of tokenizer files
  8. In exact speculative sampling, what happens when a proposed token is rejected?
    • The whole conversation is discarded
    • The target model is permanently changed
    • The rejected token is kept without verification
    • A correction step samples from the distribution needed to preserve the target model’s output distribution