LegközelebbKövetkező útmutató
Differenciális adatvédelem
Műszaki
Műszaki ÚTMUTATÓ
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Amikor egy nyelvi modell szöveget generál, minden látott jogkivonathoz megőrzi a „KV gyorsítótárat” (kulcs- és értékvektorok), így a következő token a teljes kontextusra képes figyelni. Hagyományosan minden kérés egy nagy, összefüggő GPU-memóriát foglalt le, a lehető legnagyobb hosszra méretezve, így hatalmas mennyiséget pazaroltak el, amikor a sorozatok rövidebbek vagy változó hosszúságúak voltak. A UC Berkeley 2023-as vLLM-anyagában bemutatott PagedAttention a virtuális memória lapozás ötletét az operációs rendszerektől kölcsönzi: a KV gyorsítótárat fix méretű blokkokra osztja, amelyek bárhol elhelyezhetők a memóriában, és igény szerint lefoglalhatók. A keresőtábla leképezi a logikai token pozíciókat fizikai blokkokra. Ez szinte kiküszöböli a memória töredezettségét, és lehetővé teszi a blokkok megosztását, például ugyanazon prompt több kimenetén.
Nyílt forráskódú LLM API tárolása, ahol a vLLM sok egyidejű csevegőfelhasználót szolgál ki egyetlen GPU-ról nagy átviteli sebességgel
Hosszú rendszerparancs megosztása több ezer kérelem között az előtag gyorsítótárazásával, így egyszeri feldolgozásra kerül, nem ismétlődően
Futósugár-keresés vagy több mintavételezett befejezés, amelyek megosztják a KV-blokkokat a közös prompthoz másolás-írás útján
A GPU-memória-pazarlás csökkentése a töredezettségből, hogy a szolgáltató több egyidejű munkamenetet csomagolhasson ugyanarra a hardverre
A vLLM alapértelmezett nyílt forráskódú következtetési gerincvé vált, és a PagedAttention ötletei a legtöbb kiszolgálóveremben megjelennek. Mélyebb előtag-gyorsítótárazásra (a gyorsítótárazott rendszerkérdések újrafelhasználása a felhasználók között), a különálló gépeken lebontott előtöltésre és dekódolásra, intelligensebb kilakoltatási szabályzatokra, valamint a kvantálás és a spekulatív dekódolás szoros integrációjára számíthat. Ahogy a kontextusablakok több millió tokenekké nőnek, a hatékony lapozott KV-kezelés még központibbá válik a kiszolgálás megfizethető megőrzése szempontjából.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
A KV gyorsítótár kulcs- és értékvektorokat tartalmaz minden korábbi jogkivonathoz, lehetővé téve a modell számára, hogy a teljes kontextusra figyeljen anélkül, hogy minden lépést újraszámítana.
A PagedAttention virtuális memória lapozást kölcsönöz: a KV gyorsítótár fix méretű oldalakra van felosztva, amelyek bárhol élhetnek, blokktáblázattal leképezve.
Ha kérésenként egy nagy összefüggő födémet foglalt le, a maximális hosszra méretezve, hatalmas mennyiségű GPU-memória pazarolt el. A lapozás igény szerint kiosztja a kis blokkokat, levágva a hulladékot.
Az azonos előtagok (megosztott promptok vagy sugárkeresési ágak) ugyanazokra a fizikai KV-oldalakra hivatkoznak, és csak akkor másolnak, ha egy ág eltér.
A vLLM és a PagedAttention algoritmus az UC Berkeley-ben jelent meg egy 2023-as cikkben, és gyorsan széles körben használt nyílt forráskódú kiszolgálómotorokká váltak.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Differenciális adatvédelem
Műszaki