DalšíDalší průvodce
Jemné doladění odběru vzorků
Jazyk AI
Jazyk AI GUIDE
Speculative sampling uses a draft model to propose tokens and a target model to verify them.
Poslechněte si tento návodAI-vyprávěný · ~2 min
With the exact rejection-sampling correction, it preserves the target distribution; speedup depends on draft cost, acceptance, target verification and workload.
Autoregressive generation is slow because each token needs a full forward pass of a huge model. Speculative sampling fixes this by pairing a cheap draft model with the expensive target model. The draft proposes a short run of tokens (say 4-8); the target then scores all of them in one parallel forward pass. A modified rejection-sampling rule accepts the longest prefix that is consistent with the target's own distribution and resamples at the first rejected position. Because acceptance is probabilistic and corrected, the final token stream is provably distributed exactly as if the target had generated alone, no quality loss. Speedups vary with draft cost, acceptance rate, target verification, batching and hardware. A parallel verification pass can confirm multiple tokens, but is not free.
Poskytování modelu chatu 70B s modelem návrhu 7B ke snížení latence odezvy zhruba na polovinu při stejné kvalitě výstupu.
Medusa ve stylu hlavy na jediném modelu předpovídá několik budoucích tokenů a poté je ověřuje bez samostatné sítě konceptů.
Spekulativní dekódování založené na stromech, které navrhuje několik pokračování větvení a ověřuje je všechna v jednom cílovém průchodu.
Zrychlení asistentů pro dokončování kódu, kde návrhový model zvládá předvídatelné standardy, které velký model rychle potvrzuje.
Spekulativní dekódování se stává standardem v inferencích. Novější varianty upouštějí od samostatného modelu návrhu: vlastní spekulace používá předčasné ukončení nebo zvláštní predikční hlavy (Medusa, EAGLE), stromové kreslení ověřuje mnoho kandidátských pokračování najednou a dopředné dekódování paralelizuje n-gramové odhady. Očekávejte těsnější integraci s dávkováním a správou mezipaměti KV, dimenzování návrhů s ohledem na hardware a širší využití v produktech citlivých na latenci, jako jsou chatovací asistenti a kódovací nástroje, kde se počítá každá milisekunda.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Speculative sampling uses a draft model to propose tokens and a target model to verify them. With the exact rejection-sampling correction, it preserves the target distribution; speedup depends on draft cost, acceptance, target verification and workload.
Levný návrhový model uhodne několik žetonů dopředu a drahý cílový model je všechny zkontroluje jedním paralelním dopředným průchodem.
Upravená korekce odmítnutí-vzorkování zaručuje, že přijaté tokeny jsou distribuovány přesně tak, jak by cílový model vyprodukoval sám.
Exact speculative sampling uses a rejection-sampling correction and discards the later draft suffix.
The rejection-sampling rule preserves the target distribution; this does not guarantee the same sampled string for each random seed.
The target pass scores the draft proposals and supplies target probabilities used by the acceptance rule and residual correction; it has a computation cost.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné doladění odběru vzorků
Jazyk AI