VolgendeVolgende gids
Afwijzingsbemonstering fijnafstemming
Taal AI
Taal AI-GIDS
Speculative sampling uses a draft model to propose tokens and a target model to verify them.
Luister naar deze gidsAI-verteld · ~2 min
With the exact rejection-sampling correction, it preserves the target distribution; speedup depends on draft cost, acceptance, target verification and workload.
Autoregressive generation is slow because each token needs a full forward pass of a huge model. Speculative sampling fixes this by pairing a cheap draft model with the expensive target model. The draft proposes a short run of tokens (say 4-8); the target then scores all of them in one parallel forward pass. A modified rejection-sampling rule accepts the longest prefix that is consistent with the target's own distribution and resamples at the first rejected position. Because acceptance is probabilistic and corrected, the final token stream is provably distributed exactly as if the target had generated alone, no quality loss. Speedups vary with draft cost, acceptance rate, target verification, batching and hardware. A parallel verification pass can confirm multiple tokens, but is not free.
Een chatmodel van 70 miljard met een conceptmodel van 7 miljard om de reactielatentie ongeveer te halveren met identieke uitvoerkwaliteit.
Medusa-stijl hoofden op een enkel model dat verschillende toekomstige tokens voorspelt en deze vervolgens verifieert zonder een afzonderlijk conceptnetwerk.
Op bomen gebaseerde speculatieve decodering die meerdere voortzettingen van vertakkingen voorstelt en deze allemaal in één doelgang verifieert.
Versnellen van assistenten voor het aanvullen van codes waarbij het conceptmodel voorspelbare standaardteksten verwerkt die het grote model snel bevestigt.
Speculatieve decodering wordt standaard in inferentiestapels. Nieuwere varianten laten het afzonderlijke conceptmodel achterwege: bij zelfspeculatie wordt gebruik gemaakt van early-exit of extra voorspellingskoppen (Medusa, EAGLE), op bomen gebaseerde drafting verifieert veel kandidaat-voortzettingen tegelijk, en lookahead-decodering paralleliseert n-gram-gissingen. Verwacht een nauwere integratie met batching en KV-cachebeheer, hardwarebewuste conceptgroottes en breder gebruik in latentiegevoelige producten zoals chatassistenten en codeertools waarbij elke milliseconde telt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Speculative sampling uses a draft model to propose tokens and a target model to verify them. With the exact rejection-sampling correction, it preserves the target distribution; speedup depends on draft cost, acceptance, target verification and workload.
Een goedkoop conceptmodel raadt meerdere tokens vooruit, en het dure doelmodel controleert ze allemaal in een enkele parallelle voorwaartse doorgang.
De gewijzigde afwijzingsbemonsteringscorrectie garandeert dat de geaccepteerde tokens precies worden gedistribueerd zoals het doelmodel alleen zou hebben geproduceerd.
Exacte speculatieve bemonstering maakt gebruik van een afwijzingsbemonsteringscorrectie en gooit het latere concept-achtervoegsel weg.
De afwijzingssteekproefregel behoudt de doelverdeling; dit garandeert niet dezelfde bemonsterde string voor elk willekeurig zaadje.
De target pass scoort de conceptvoorstellen en levert doelkansen op die worden gebruikt door de acceptatieregel en restcorrectie; er zijn rekenkosten aan verbonden.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Afwijzingsbemonstering fijnafstemming
Taal AI