LegközelebbKövetkező útmutató
Elutasítási mintavételi finomhangolás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Speculative sampling uses a draft model to propose tokens and a target model to verify them.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
With the exact rejection-sampling correction, it preserves the target distribution; speedup depends on draft cost, acceptance, target verification and workload.
Autoregressive generation is slow because each token needs a full forward pass of a huge model. Speculative sampling fixes this by pairing a cheap draft model with the expensive target model. The draft proposes a short run of tokens (say 4-8); the target then scores all of them in one parallel forward pass. A modified rejection-sampling rule accepts the longest prefix that is consistent with the target's own distribution and resamples at the first rejected position. Because acceptance is probabilistic and corrected, the final token stream is provably distributed exactly as if the target had generated alone, no quality loss. Speedups vary with draft cost, acceptance rate, target verification, batching and hardware. A parallel verification pass can confirm multiple tokens, but is not free.
70B csevegési modell kiszolgálása 7B vázlatmodellel a válaszadási késleltetés nagyjából felére csökkentése érdekében, azonos kimeneti minőség mellett.
Medusa-stílusú fejek egyetlen modellen, amelyek több jövőbeli tokent jósolnak, majd külön vázlathálózat nélkül ellenőrzik azokat.
Fa alapú spekulatív dekódolás, amely több elágazási folytatást javasol, és mindegyiket egy célmenetben ellenőrzi.
A kódkiegészítési asszisztensek felgyorsítása, ahol a vázlatmodell kezeli a kiszámítható rendszert, amelyet a nagy modell gyorsan megerősít.
A spekulatív dekódolás szabványossá válik a következtetési veremekben. Az újabb változatok elvetik a külön vázlatmodellt: az önspekuláció korai kilépési vagy extra előrejelző fejeket (Medusa, EAGLE) használ, a fa alapú rajzolás egyszerre sok jelölt folytatást ellenőrzi, az előretekintő dekódolás pedig párhuzamosítja az n-gramos találgatásokat. Szorosabb integrációra számíthat a kötegelés és a KV-gyorsítótár kezelésével, a hardver-tudatos piszkozatméretezéssel, valamint a késleltetésre érzékeny termékekben, például a csevegési asszisztensekkel és a kódolóeszközökkel, ahol minden ezredmásodperc számít.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Speculative sampling uses a draft model to propose tokens and a target model to verify them. With the exact rejection-sampling correction, it preserves the target distribution; speedup depends on draft cost, acceptance, target verification and workload.
Egy olcsó vázlatmodell több jelzőt tippel előre, a drága célmodell pedig mindegyiket ellenőrzi egyetlen párhuzamos előrelépésben.
A módosított elutasítási-mintavételi korrekció garantálja, hogy az elfogadott tokenek pontosan úgy lesznek elosztva, ahogy a célmodell önmagában előállította volna.
Exact speculative sampling uses a rejection-sampling correction and discards the later draft suffix.
The rejection-sampling rule preserves the target distribution; this does not guarantee the same sampled string for each random seed.
The target pass scores the draft proposals and supplies target probabilities used by the acceptance rule and residual correction; it has a computation cost.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Elutasítási mintavételi finomhangolás
Nyelvi AI