Műszaki ÚTMUTATÓ

KV gyorsítótár optimalizálása

A KV-gyorsítótár tárolja a transzformátor által már kiszámított kulcsokat és értékeket, így nem működik újra minden új tokennél – de képes gigabájtokra rúgni.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A KV gyorsítótár-optimalizálás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A KV gyorsítótár-optimalizálása csökkenti és kezeli ezt a memóriát, így a modellek hosszabb kontextust szolgálnak ki egyszerre több felhasználó számára.

Mély merülés

In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.

Valós megvalósítás

vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation

A csoportos lekérdezés figyelem a Llama modellekben csökkenti a KV gyorsítótár méretét, így hosszabb kontextusok is elférnek a GPU memóriájában

A KV-gyorsítótár kvantálása 8 bitesre (KV8), hogy a gyorsítótár durván felére csökkenjen a hosszú dokumentum-összegzés során

Előtag gyorsítótárazás, amely egy megosztott rendszerkérdés KV-blokkjait újrafelhasználja több ezer API-kérelemben

A KV gyorsítótár-optimalizálás jövője

Ahogy a kontextusablakok több százezer vagy millió tokenre nyúlnak ki, a KV gyorsítótár válik a kiszolgálás domináns költségévé. Agresszív gyorsítótár-tömörítésre és -kiürítésre számíthat (az alacsony figyelemre méltó tokenek elhagyása), a keresztkérések előtagok megosztására alapértelmezésként, a hideggyorsítótár CPU-ra vagy NVMe-re való feltöltésére, valamint az olyan architektúrákra, mint az MLA és a GQA szabványossá válása. A gyorsítótár-kezelés egyre inkább egy teljes memóriahierarchiára fog hasonlítani szintekkel és intelligens előzetes letöltéssel.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the KV Cache Optimization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a KV gyorsítótár optimalizálás?

A KV-gyorsítótár tárolja a transzformátor által már kiszámított kulcsokat és értékeket, így nem működik újra minden új tokennél – de képes gigabájtokra rúgni. A KV gyorsítótár-optimalizálás csökkenti és kezeli ezt a memóriát, így a modellek hosszabb környezetet szolgálnak ki egyszerre több felhasználó számára.

Mit tárol a KV gyorsítótár és miért?

A korábbi jogkivonatokból származó kulcsok és értékek gyorsítótárazásával elkerülhető, hogy minden új tokennél újra lehessen figyelni, így időt takaríthat meg.

Miért válhat memóriaproblémává a KV gyorsítótár?

A gyorsítótár mérete a kontextus hosszával és párhuzamosságával skálázódik, így a hosszú kérések óriási mennyiségű GPU memóriát használhatnak fel.

Milyen operációs rendszer koncepciót kölcsönöz a PagedAttention?

A PagedAttention a gyorsítótárat nem összefüggő, rögzített méretű blokkokban tárolja, amelyek egy táblán keresztül vannak leképezve, akárcsak az operációs rendszer lapozása.

Hogyan csökkenti a csoportos lekérdezés és a többlekérdezés figyelem a KV gyorsítótár méretét?

A kulcs-/értékfejek több lekérdezési fej között való megosztása sokkal kevesebb tárolandó K és V vektort jelent.

Milyen előnyökkel jár az előtagok megosztása a KV gyorsítótárban?

A megosztott rendszerprompt azonos KV-bejegyzéseket állít elő, így több kérés is mutathat ugyanarra a blokkra ahelyett, hogy megkettőzné őket.