DalšíDalší průvodce
Optimalizace mezipaměti KV
Technický
Jazyk AI GUIDE
Mezipaměť KV ukládá vektory klíčů a hodnot, které již transformátor vypočítal pro předchozí tokeny, takže je nemusí přepočítávat pro každé nové slovo, které vygeneruje.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It is the single biggest reason text generation is fast — and the main thing eating your GPU memory during long conversations.
Transformátory generují text po jednom tokenu a vrstva pozornosti každého nového tokenu se musí porovnat s každým předchozím tokenem. Mechanismus pozornosti promění každý token na vektor dotazu, klíče a hodnoty. Bez ukládání do mezipaměti by generování tokenu číslo 1 000 znamenalo přepočítávání klíčů a hodnot pro všech 999 dřívějších tokenů v každém kroku – kvadratická, plýtvání. Mezipaměť KV tyto vektory klíčů a hodnot uloží po jejich prvním výpočtu a znovu je použije, takže každý nový krok počítá pouze vektory pro jeden nejnovější token a obsluhuje uloženou mezipaměť. To snižuje náklady na token ze škálování s délkou sekvence na zhruba konstantní. Kompromisem je paměť: mezipaměť roste lineárně s délkou kontextu, počtem vrstev a pozorností a často se stává dominantním spotřebitelem paměti při poskytování dlouhých kontextů.
Urychlení odpovědí chatbota opětovným použitím klíčů/hodnot uložených v mezipaměti z historie konverzace namísto jejich opětovného zpracování každé kolo.
Ukládání prefixů do mezipaměti, které sdílí mezipaměť pro dlouhou systémovou výzvu napříč mnoha uživateli, což snižuje náklady a latenci.
VLLM PagedAttention spravující KV mezipaměť v blocích pro efektivní obsluhu mnoha souběžných požadavků na jednom GPU.
Kvantování mezipaměti KV na nižší přesnost, aby se delší kontexty vešly do omezené paměti GPU.
Jak se kontextová okna rozšiřují do stovek tisíc tokenů, KV cache se stává ústředním úzkým hrdlem, takže inovace jsou nelítostné: kvantování mezipaměti na 8 nebo 4 bity, zásady vystěhování, které zahazují tokeny s nízkou důležitostí, sdílení prefixů mezi požadavky a ukládání na CPU nebo disk. Architektonické posuny, jako je latentní pozornost více hlav, komprimují samotnou mezipaměť. Očekávejte pokračující společný návrh variant pozornosti a paměťových systémů zaměřených na obsluhu velmi dlouhých kontextů levně a s vysokou propustností.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Mezipaměť KV ukládá vektory klíčů a hodnot, které již transformátor vypočítal pro předchozí tokeny, takže je nemusí přepočítávat pro každé nové slovo, které vygeneruje. Je to jediný největší důvod, proč je generování textu rychlé – a hlavní věc, která vám během dlouhých konverzací požírá paměť GPU.
Mezipaměť KV obsahuje vektory klíčů a hodnot z dřívějších tokenů, takže je může pozornost znovu použít místo přepočítávání.
The cache reuses keys and values computed for earlier tokens instead of rebuilding them at every decode step. The new query still attends over cached positions, so attention work and cache memory continue to grow with context length.
Mezipaměť roste s délkou sekvence, vrstvami a hlavami a často se stává dominantním spotřebitelem paměti GPU při poskytování dlouhých kontextů.
Pozornost seskupených dotazů a více dotazů umožňuje více hlavám dotazů sdílet méně sad klíč/hodnota, což podstatně zmenšuje mezipaměť.
Prefill naplní mezipaměť K/V výzvy; decode připojí každý krok jednoho nového tokenu K/V a znovu se věnuje cache.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Optimalizace mezipaměti KV
Technický