DalšíDalší průvodce
Trénink predikce s více tokeny
Jazyk AI
Technický PRŮVODCE
Spekulativní streamování a predikce více tokenů urychlují generování jazykových modelů tím, že hádají několik budoucích tokenů najednou a ověřují je v jediném průchodu, místo aby produkovali jeden token najednou.
Poslechněte si tento návodAI-vyprávěný · ~2 min
They cut latency without changing the text the model would have written.
Normální autoregresivní dekódování je pomalé, protože každý token vyžaduje úplný dopředný průchod a tokeny jsou generovány přísně jeden po druhém, takže GPU je nedostatečně využíván. Spekulativní dekódování to řeší levným návrhářem, který navrhuje kus kandidátských tokenů, které pak velký cílový model ověřuje paralelně; jakákoli předpona, která odpovídá tomu, co by cíl vytvořil, je přijata zdarma a první neshoda je opravena. Spekulativní streamování a predikce s více tokeny ve stylu Medusa složí navrhovatele do samotného modelu: extra lehké predikční hlavy (nebo proud spekulativních tokenů) nechávají jeden model navrhovat i ověřovat, čímž se vyhnete samostatnému modelu návrhu. Protože je verifikace přesná, výstupní distribuce je identická se standardním dekódováním, jednoduše získáte 2 až 3krát méně sekvenčních kroků.
Snížení latence odezvy chatovacího asistenta 2x až 3x pomocí extra predikční hlavy ve stylu Medusa
Přidání samospekulativního dekódování na inferenční server, takže není třeba hostovat žádný samostatný návrhový model
Urychlení dokončování kódu tam, kde jsou přijímány dlouhé a předvídatelné běhy tokenů ve velkých částech
Snížení nákladů na GPU na požadavek extrahováním více tokenů z každého dopředného průchodu vázaného na paměť
Samospekulativní metody, které nepotřebují žádný samostatný návrhový model, se stávají výchozími v inferenčních motorech a výzkum posouvá míru přijetí na vyšší úroveň díky lepším návrhovým hlavám, stromově strukturovaným kandidátům a společnému trénování základního modelu pro predikci s více tokeny (což může také zlepšit kvalitu). Očekávejte, že se tyto techniky zkombinují s kvantizací a dávkovým zpracováním, takže interaktivní asistenti se budou cítit okamžitě, i když modely rostou.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Spekulativní streamování a predikce více tokenů urychlují generování jazykových modelů tím, že hádají několik budoucích tokenů najednou a ověřují je v jediném průchodu, místo aby produkovali jeden token najednou. Snižují latenci, aniž by se změnil text, který by model napsal.
Každý token potřebuje svůj vlastní dopředný průchod a jsou přísně sekvenční, takže GPU je vázán na šířku pásma paměti a během dekódování je nedostatečně využíván.
Levný návrhář navrhne kus kandidátských tokenů, které pak velký cílový model paralelně ověřuje.
Ověření (nenásytné párování nebo vzorkování odmítnutí) zajišťuje, že přijaté tokeny dodržují přesné rozdělení, jaké by vytvořil cílový model, takže výstup se nemění.
Metody ve stylu Medusa skládají kreslení do modelu pomocí dalších predikčních hlav, čímž se vyhnete nutnosti hostit samostatný model výkresu.
Během dekódování se překážkou přesouvá závaží z paměti, takže skórování dalších pozic ve stejném průchodu zvyšuje náklady na výpočet.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Trénink predikce s více tokeny
Jazyk AI