Műszaki ÚTMUTATÓ

PagedAttention és vLLM

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A PagedAttention és a vLLM jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

Mély merülés

Amikor egy nyelvi modell szöveget generál, minden látott jogkivonathoz megőrzi a „KV gyorsítótárat” (kulcs- és értékvektorok), így a következő token a teljes kontextusra képes figyelni. Hagyományosan minden kérés egy nagy, összefüggő GPU-memóriát foglalt le, a lehető legnagyobb hosszra méretezve, így hatalmas mennyiséget pazaroltak el, amikor a sorozatok rövidebbek vagy változó hosszúságúak voltak. A UC Berkeley 2023-as vLLM-anyagában bemutatott PagedAttention a virtuális memória lapozás ötletét az operációs rendszerektől kölcsönzi: a KV gyorsítótárat fix méretű blokkokra osztja, amelyek bárhol elhelyezhetők a memóriában, és igény szerint lefoglalhatók. A keresőtábla leképezi a logikai token pozíciókat fizikai blokkokra. Ez szinte kiküszöböli a memória töredezettségét, és lehetővé teszi a blokkok megosztását, például ugyanazon prompt több kimenetén.

Valós megvalósítás

Nyílt forráskódú LLM API tárolása, ahol a vLLM sok egyidejű csevegőfelhasználót szolgál ki egyetlen GPU-ról nagy átviteli sebességgel

Hosszú rendszerparancs megosztása több ezer kérelem között az előtag gyorsítótárazásával, így egyszeri feldolgozásra kerül, nem ismétlődően

Futósugár-keresés vagy több mintavételezett befejezés, amelyek megosztják a KV-blokkokat a közös prompthoz másolás-írás útján

A GPU-memória-pazarlás csökkentése a töredezettségből, hogy a szolgáltató több egyidejű munkamenetet csomagolhasson ugyanarra a hardverre

A PagedAttention és a vLLM jövője

A vLLM alapértelmezett nyílt forráskódú következtetési gerincvé vált, és a PagedAttention ötletei a legtöbb kiszolgálóveremben megjelennek. Mélyebb előtag-gyorsítótárazásra (a gyorsítótárazott rendszerkérdések újrafelhasználása a felhasználók között), a különálló gépeken lebontott előtöltésre és dekódolásra, intelligensebb kilakoltatási szabályzatokra, valamint a kvantálás és a spekulatív dekódolás szoros integrációjára számíthat. Ahogy a kontextusablakok több millió tokenekké nőnek, a hatékony lapozott KV-kezelés még központibbá válik a kiszolgálás megfizethető megőrzése szempontjából.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the PagedAttention and vLLM quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a PagedAttention és a vLLM?

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

Mit tárol a „KV gyorsítótár” a szöveggenerálás során?

A KV gyorsítótár kulcs- és értékvektorokat tartalmaz minden korábbi jogkivonathoz, lehetővé téve a modell számára, hogy a teljes kontextusra figyeljen anélkül, hogy minden lépést újraszámítana.

Milyen operációs rendszer-koncepció ihlette a PagedAttentiont?

A PagedAttention virtuális memória lapozást kölcsönöz: a KV gyorsítótár fix méretű oldalakra van felosztva, amelyek bárhol élhetnek, blokktáblázattal leképezve.

Milyen problémát old meg a PagedAttention a hagyományos KV gyorsítótár-kiosztással?

Ha kérésenként egy nagy összefüggő födémet foglalt le, a maximális hosszra méretezve, hatalmas mennyiségű GPU-memória pazarolt el. A lapozás igény szerint kiosztja a kis blokkokat, levágva a hulladékot.

Hogyan teszi lehetővé a PagedAttention több kimenetnek a memória megosztását egy közös prompthoz?

Az azonos előtagok (megosztott promptok vagy sugárkeresési ágak) ugyanazokra a fizikai KV-oldalakra hivatkoznak, és csak akkor másolnak, ha egy ág eltér.

Hol fejlesztették ki eredetileg a vLLM-et és a PagedAttentiont?

A vLLM és a PagedAttention algoritmus az UC Berkeley-ben jelent meg egy 2023-as cikkben, és gyorsan széles körben használt nyílt forráskódú kiszolgálómotorokká váltak.