Quiz collegato alla guida · Medio Livello
Quiz sulla decodifica speculativa
Riguarda la decodifica di bozza e verifica, la conservazione esatta della distribuzione target, i limiti del tasso di accettazione e le misurazioni pratiche dell'accelerazione.
Domanda 1 di 8
In che modo la decodifica speculativa accelera la generazione da un modello di grandi dimensioni?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In che modo la decodifica speculativa accelera la generazione da un modello di grandi dimensioni?
- Un modello di bozza piccolo indovina diversi token che il modello grande verifica in parallelo
- Compressione permanente del modello a metà delle sue dimensioni
- Eliminare il meccanismo dell'attenzione
- Addestramento del modello su più dati
- For a large model at low batch size, why can one-token autoregressive decoding be slow?
- Each token requires internet access
- Repeated reads of large model weights can make decoding memory-bandwidth bound
- The model permanently stores a full copy of every possible output
- The tokenizer performs the model’s matrix multiplications
- In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
- The whole conversation is thrown away and restarted from scratch
- La bozza del modello viene riqualificata immediatamente
- The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
- La qualità dell'output peggiora permanentemente
- Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
- It is always lower quality but faster
- It is identical only when the draft model is larger
- It becomes deterministic regardless of target sampling
- It is identical in distribution
- Cosa determina più direttamente l'accelerazione derivante dalla decodifica speculativa?
- Il tasso di accettazione delle ipotesi del modello in bozza
- Il colore della GPU
- La lunghezza del nome del modello
- L'ora del giorno
- Cosa hanno in comune Medusa ed EAGLE come approcci?
- Richiedono hardware quantistico
- Eliminano la necessità di una bozza di modello autonomo separata
- Eliminano il modello target
- Funzionano solo sulle immagini
- What should a serving team measure before claiming speculative decoding will speed up its workload?
- Only the target model’s parameter count
- Only whether the draft produces fluent text
- Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
- The number of tokenizer files
- In exact speculative sampling, what happens when a proposed token is rejected?
- The whole conversation is discarded
- The target model is permanently changed
- The rejected token is kept without verification
- A correction step samples from the distribution needed to preserve the target model’s output distribution