LegközelebbKövetkező útmutató
Spekulatív dekódolás
Műszaki
Műszaki ÚTMUTATÓ
A spekulatív dekódolás felgyorsítja a nagy nyelvi modellek következtetéseit azáltal, hogy hagyja, hogy egy apró vázlatmodell több tokent előre találjon, amit a nagy modell egy menetben ellenőriz.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
EAGLE is a state-of-the-art version that drafts at the feature level rather than the token level, delivering 2-4x speedups with zero loss in output quality.
A normál LLM-generálás autoregresszív: a modell egy tokent állít elő, visszaadja és megismétli, így minden token teljes előrehaladást igényel több milliárd paraméteren. A spekulatív dekódolás megtöri ezt a szűk keresztmetszetet. Egy olcsó fogalmazó felajánl egy darab jelölt tokent, és a drága célmodell mindegyiket egyetlen párhuzamos menetben ellenőrzi, elfogadva a leghosszabb helyes előtagot. Az EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) javítja a korábbi módszereket azáltal, hogy a modell rejtett jellemzőterében rajzol, és visszacsatolja az előző token valódi beágyazását a bizonytalanság csökkentése érdekében. Az EAGLE-2 dinamikus vázlatfát ad hozzá, az EAGLE-3 pedig eldob egy jellemző-előrejelzési kényszert a jobb méretezés érdekében. Lényeges, hogy az ellenőrzés garantálja, hogy a kimenet megegyezik azzal, amit a célmodell önmagában produkált volna.
Csökkenti a késleltetést a csevegési asszisztensekben, így a válaszok 2-3-szor gyorsabban érkeznek a modell válaszainak megváltoztatása nélkül
A nagy volumenű API-szolgáltatók GPU-szolgáltatási költségeinek csökkentése azáltal, hogy több tokenek generálnak egy előrehaladási lépésenként
A hosszú gondolati láncolatú gondolkodási modellek felgyorsítása, ahol több ezer token keletkezik lekérdezésenként
A kódkiegészítő eszközök felgyorsítása, ahol a kiszámítható, ismétlődő tokenszekvenciák magas vázlat-elfogadási arányt eredményeznek
A spekulatív dekódolás alapértelmezett infrastruktúrává válik az olyan veremek kiszolgálásában, mint a vLLM és a TensorRT-LLM. Szigorúbb integrációra számíthat a kötegelés és a KV-gyorsítótár megosztása, az önrajzoló modellek, amelyekhez nincs szükség külön rajzolóra, és a párhuzamos ellenőrzést feltételező hardver-társ tervezés. Az EAGLE-stílusú funkciószerkesztést kiterjesztik a multimodális és érvelési modellekre, ahol a hosszú gondolatláncok különösen fájdalmassá teszik a tokenenkénti költségeket, valamint az eszközön történő következtetésekre, ahol a késleltetés a legfontosabb.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A spekulatív dekódolás felgyorsítja a nagy nyelvi modellek következtetéseit azáltal, hogy hagyja, hogy egy apró vázlatmodell több tokent előre találjon, amit a nagy modell egy menetben ellenőriz. Az EAGLE egy csúcstechnológiás változat, amely nem a token szintjén, hanem a szolgáltatás szintjén rajzol, 2-4-szeres gyorsítást biztosítva, a kimeneti minőségben nulla veszteség nélkül.
Egy kis rajzoló több tokent sejt előre, és a nagy célmodell együtt ellenőrzi őket, elfogadva a leghosszabb helyes előtagot.
Az EAGLE előrejelzi a célmodell rejtett jellemzőit, és újra felhasználja az LM-fejet, amely pontosabb piszkozatokat állít elő, mint a csak token módszerek.
Exact speculative sampling preserves the target distribution; this does not mean every random run must emit the same token sequence under different random draws.
A tényleges előző token feltétele csökkenti a következő rejtett jellemző előrejelzésének kétértelműségét, javítva a piszkozat pontosságát.
Az EAGLE-2 bevezetett egy környezettudatos dinamikus vázlatfát, amely az ígéretes ágakat kiterjesztette az elfogadási arány növelésére.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Spekulatív dekódolás
Műszaki