LegközelebbKövetkező útmutató
Multi-Token előrejelzési tréning
Nyelvi AI
Műszaki ÚTMUTATÓ
A spekulatív streamelés és a több token előrejelzése felgyorsítja a nyelvi modell létrehozását azáltal, hogy egyszerre több jövőbeli tokent is kitalál, és azokat egyetlen menetben igazolja, ahelyett, hogy egyszerre csak egy tokent állítana elő.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
They cut latency without changing the text the model would have written.
A normál autoregresszív dekódolás lassú, mert minden token teljes előrehaladást igényel, és a tokenek szigorúan egymás után jönnek létre, így a GPU alulhasznált marad. A spekulatív dekódolás kijavítja ezt egy olcsó rajzolóval, amely egy csomó jelölt tokent javasol, amelyet a nagy célmodell párhuzamosan ellenőriz; minden olyan előtagot, amely megegyezik azzal, amit a cél produkált volna, ingyenesen elfogad, és az első eltérést kijavítja. A spekulatív streamelés és a Medusa-stílusú több token előrejelzése magába a modellbe hajtja a rajzolót: az extra könnyű előrejelző fejek (vagy spekulatív tokenek folyama) lehetővé teszik egy modell elkészítését és ellenőrzését, elkerülve a külön vázlatmodell használatát. Mivel az ellenőrzés pontos, a kimeneti eloszlás megegyezik a szabványos dekódolással, egyszerűen 2-3-szor kevesebb egymást követő lépést kap.
A csevegési asszisztens válaszidejének 2-3-szoros csökkentése a Medusa-stílusú extra előrejelző fejekkel
Önspekulatív dekódolás hozzáadása egy következtetési kiszolgálóhoz, így nincs szükség külön vázlatmodell tárolására
A kód befejezésének felgyorsítása, ahol a hosszú, kiszámítható tokenfuttatásokat nagy darabokban fogadják el
Csökkentse a GPU kérésenkénti költségét azáltal, hogy több tokent nyer ki minden egyes memóriához kötött továbbításból
Az önspekulációs módszerek, amelyekhez nincs szükség külön vázlatmodellre, a következtetési motorok alapértelmezésévé válnak, és a kutatások magasabbra emelik az elfogadási arányt jobb vázlatfejekkel, fastruktúrájú jelöltekkel, és az alapmodellt közösen képezik több token előrejelzésre (ami szintén javíthatja a minőséget). Számítson rá, hogy ezek a technikák kvantálással és kötegeléssel kombinálódnak, így az interaktív asszisztensek azonnali érzést keltenek, még a modellek növekedésével is.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A spekulatív streamelés és a több token előrejelzése felgyorsítja a nyelvi modell létrehozását azáltal, hogy egyszerre több jövőbeli tokent is kitalál, és azokat egyetlen menetben igazolja, ahelyett, hogy egyszerre csak egy tokent állítana elő. Csökkentik a késleltetést anélkül, hogy megváltoztatták volna a modell által írt szöveget.
Minden tokennek saját előremenő átmenetre van szüksége, és szigorúan szekvenciálisak, így a GPU memória sávszélességhez van kötve, és a dekódolás során alul van kihasználva.
Egy olcsó fogalmazó felajánl egy darab jelölt tokent, amelyet a nagy célmodell párhuzamosan ellenőriz.
Az ellenőrzés (mohó illesztés vagy elutasító mintavétel) biztosítja, hogy az elfogadott tokenek pontosan azt az eloszlást kövessék, amelyet a célmodell generált volna, így a kimenet változatlan.
A Medusa-stílusú módszerek extra előrejelző fejekkel hajtják be a rajzolást a modellbe, így nincs szükség külön vázlatmodellre.
A dekódolás során a szűk keresztmetszet súlyokat mozgat a memóriából, így az extra pozíciók ugyanabban a lépésben történő pontozása kevés számítási költséget jelent.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Multi-Token előrejelzési tréning
Nyelvi AI