Il prossimoProssima guida
Decodifica speculativa con EAGLE
Tecnico
GUIDA TECNICA
Speculative decoding can speed up large-model generation by letting a faster drafter propose tokens for a target model to verify in batches.
Ascolta questa guidaNarrato dall'IA · ~2 min
Exact speculative sampling can preserve the target distribution, but speedup depends on draft cost, acceptance rate, batching and hardware.
Normally an LLM generates text one token at a time: each token requires a full forward pass through the giant model, and you can't start the next until the current one finishes. For large models at low batch sizes, decoding can be memory-bandwidth bound: each token step reads many weights, so moving data may dominate arithmetic. Other batch sizes and workloads can have different bottlenecks. Speculative decoding breaks the bottleneck. A small, cheap draft model proposes a chunk of, say, five candidate tokens. The large 'target' model then processes all five in a single parallel forward pass and checks them. In greedy decoding, the target accepts the matching prefix and uses its own token at the first mismatch, discarding the remaining draft. Exact sampling uses a rejection-sampling correction to preserve the target distribution; acceptance is not always simple token equality. The target can verify a drafted block in a parallel pass, but verification still costs computation. Net speedup depends on draft-model cost, how many tokens are accepted, and the hardware and workload.
Una bozza di modello da 7B che propone token per un modello di chat da 70B per ridurre la latenza di risposta in un assistente di produzione
Le teste di Medusa sono imbullonate su un LLM in modo da prevedere diversi token futuri contemporaneamente senza una bozza di modello separata
vLLM che consente la decodifica speculativa per aumentare la velocità effettiva dei token al secondo su un cluster di servizio
Redazione EAGLE nello spazio delle funzionalità nascoste del modello per aumentare il tasso di accettazione e la velocità complessiva
Serving frameworks offer speculative decoding and self-drafting variants, but the best method depends on the target model, workload and hardware. Systems should measure latency, throughput, acceptance rate, memory use and output-distribution requirements rather than assume a fixed speedup. Some methods use a separate drafter; others add heads or use feature-space proposals. Continued research is likely to improve these tradeoffs, but deployment gains must be measured on the actual service.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Speculative decoding can speed up large-model generation by letting a faster drafter propose tokens for a target model to verify in batches. Exact speculative sampling can preserve the target distribution, but speedup depends on draft cost, acceptance rate, batching and hardware.
Un modello di bozza veloce propone più token e il modello di destinazione di grandi dimensioni li controlla tutti in un unico passaggio parallelo.
For large models at low batch sizes, repeatedly reading weights can dominate arithmetic, though the bottleneck depends on workload.
In greedy verification, the target corrects the first mismatch and the remaining drafted suffix is discarded; exact sampling uses a rejection-sampling correction instead.
The exact rejection-sampling correction preserves the target model’s distribution; this is distinct from relaxed variants.
Maggiore è il numero di token draftati accettati dal modello di destinazione per fase di verifica, maggiore sarà la velocità.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Decodifica speculativa con EAGLE
Tecnico