LegközelebbKövetkező útmutató
KV gyorsítótár
Nyelvi AI
Műszaki ÚTMUTATÓ
A KV-gyorsítótár tárolja a transzformátor által már kiszámított kulcsokat és értékeket, így nem működik újra minden új tokennél – de képes gigabájtokra rúgni.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A KV gyorsítótár-optimalizálása csökkenti és kezeli ezt a memóriát, így a modellek hosszabb kontextust szolgálnak ki egyszerre több felhasználó számára.
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
A csoportos lekérdezés figyelem a Llama modellekben csökkenti a KV gyorsítótár méretét, így hosszabb kontextusok is elférnek a GPU memóriájában
A KV-gyorsítótár kvantálása 8 bitesre (KV8), hogy a gyorsítótár durván felére csökkenjen a hosszú dokumentum-összegzés során
Előtag gyorsítótárazás, amely egy megosztott rendszerkérdés KV-blokkjait újrafelhasználja több ezer API-kérelemben
Ahogy a kontextusablakok több százezer vagy millió tokenre nyúlnak ki, a KV gyorsítótár válik a kiszolgálás domináns költségévé. Agresszív gyorsítótár-tömörítésre és -kiürítésre számíthat (az alacsony figyelemre méltó tokenek elhagyása), a keresztkérések előtagok megosztására alapértelmezésként, a hideggyorsítótár CPU-ra vagy NVMe-re való feltöltésére, valamint az olyan architektúrákra, mint az MLA és a GQA szabványossá válása. A gyorsítótár-kezelés egyre inkább egy teljes memóriahierarchiára fog hasonlítani szintekkel és intelligens előzetes letöltéssel.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A KV-gyorsítótár tárolja a transzformátor által már kiszámított kulcsokat és értékeket, így nem működik újra minden új tokennél – de képes gigabájtokra rúgni. A KV gyorsítótár-optimalizálás csökkenti és kezeli ezt a memóriát, így a modellek hosszabb környezetet szolgálnak ki egyszerre több felhasználó számára.
A korábbi jogkivonatokból származó kulcsok és értékek gyorsítótárazásával elkerülhető, hogy minden új tokennél újra lehessen figyelni, így időt takaríthat meg.
A gyorsítótár mérete a kontextus hosszával és párhuzamosságával skálázódik, így a hosszú kérések óriási mennyiségű GPU memóriát használhatnak fel.
A PagedAttention a gyorsítótárat nem összefüggő, rögzített méretű blokkokban tárolja, amelyek egy táblán keresztül vannak leképezve, akárcsak az operációs rendszer lapozása.
A kulcs-/értékfejek több lekérdezési fej között való megosztása sokkal kevesebb tárolandó K és V vektort jelent.
A megosztott rendszerprompt azonos KV-bejegyzéseket állít elő, így több kérés is mutathat ugyanarra a blokkra ahelyett, hogy megkettőzné őket.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
KV gyorsítótár
Nyelvi AI