PagedAttention ati vLLM
Paged Ifarabalẹ jẹ ilana iṣakoso-iranti ti o tọju kaṣe akiyesi awoṣe ede ni awọn bulọọki atunlo kekere dipo ikanju nla kan.
Akopọ
O ṣe agbara vLLM, ẹrọ ṣiṣi-orisun ṣiṣi ti o ṣe alekun iye awọn ibeere ti GPU kan le mu.
Jin Dive
Nigbati awoṣe ede kan ba n ṣe agbejade ọrọ, o tọju 'kaṣe KV' (bọtini ati awọn olutọpa iye) fun gbogbo ami ti o ti rii nitorina ami ami atẹle le wa si aaye kikun. Ni aṣa kọọkan ibeere ti wa ni ipamọ ọkan ti o tobi contiguous pẹlẹbẹ ti GPU iranti iwọn fun awọn oniwe-o pọju ti ṣee ṣe ipari, jafara tobi oye akojo nigba ti awọn ilana wà kikuru tabi orisirisi ni ipari. Paged Ifarabalẹ, ti a ṣe sinu iwe 2023 vLLM lati UC Berkeley, yawo imọran ti paging iranti foju lati awọn ọna ṣiṣe: o pin kaṣe KV sinu awọn bulọọki iwọn ti o wa titi ti o le gbe nibikibi ni iranti ati pin lori ibeere. Awọn maapu tabili awọn maapu awọn ipo ami ti oye si awọn bulọọki ti ara. Eyi fẹrẹ yọkuro pipin iranti ati jẹ ki a pin awọn bulọọki, fun apẹẹrẹ kọja awọn abajade lọpọlọpọ lati itọsi kanna.
Imọ-imọ-ẹrọ
Kaṣe KV ti pin si awọn oju-iwe iwọn ti o wa titi, ọkọọkan di awọn bọtini ati awọn iye mu fun nọmba ti a ṣeto ti awọn ami. Awọn maapu tabili ọna-kọọkan kan ṣe awọn maapu awọn ipo ọgbọn si awọn ipo oju-iwe ti ara, nitorinaa kaṣe ti ọna kan ko nilo lati ni itara. Nitoripe awọn ami-iṣaaju ti o jọra (itọsọna eto pinpin, tabi awọn ẹka wiwa ina) le tọka si awọn oju-iwe ti ara kanna nipasẹ daakọ-lori-kọ, iranti jẹ atunlo dipo ẹda-ẹda, idinku egbin lati ju 60% lọ si ipin diẹ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti PagedAttention ati vLLM
vLLM ti di eegun ẹhin itọkasi orisun ṣiṣi aiyipada, ati awọn imọran PagedAttention ni bayi han kọja ọpọlọpọ awọn akopọ iṣẹ. Reti caching ìpele ti o jinlẹ (atunlo awọn itọsi eto ṣiṣamulo kọja awọn olumulo), iṣaju iṣakojọpọ ati iyipada lori awọn ẹrọ ọtọtọ, awọn ilana itusilẹ ijafafa, ati isọpọ ṣinṣin pẹlu titobi ati iyipada arosọ. Bi awọn ferese ọrọ ti o dagba si awọn miliọnu awọn ami-ami, iṣakoso KV oju-iwe ti o munadoko di paapaa aarin diẹ sii si mimu iṣẹ ṣiṣe ni ifarada.
Real-World imuse
Alejo LLM API orisun-ìmọ nibiti vLLM ti nṣe iranṣẹ fun ọpọlọpọ awọn olumulo iwiregbe nigbakanna lati GPU kan ni igbejade giga
Pipinpin itọsi eto gigun kọja ẹgbẹẹgbẹrun awọn ibeere nipasẹ caching prefix nitorinaa o ṣe ilana lẹẹkan, kii ṣe leralera
Ṣiṣe wiwa tan ina tabi awọn ipari apẹẹrẹ pupọ ti o pin awọn bulọọki KV fun itọsi ti o wọpọ nipasẹ ẹda-lori-kọ
Gige egbin iranti GPU lati pipin ki olupese le di awọn akoko igbakana diẹ sii sori ohun elo kanna
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the PagedAttention and vLLM quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iyatọ Asiri
Awọn ibeere ti a beere nigbagbogbo
Kini PagedAttention ati vLLM?
Paged Ifarabalẹ jẹ ilana iṣakoso-iranti ti o tọju kaṣe akiyesi awoṣe ede ni awọn bulọọki atunlo kekere dipo ikanju nla kan. O ṣe agbara vLLM, ẹrọ iṣẹ orisun-ìmọ ti o ṣe alekun iyalẹnu iye awọn ibeere ti GPU kan le mu.
Kini 'kaṣe KV' n tọju lakoko iran ọrọ?
Kaṣe KV naa di bọtini ati awọn olutọpa iye fun gbogbo ami ami iṣaaju, jẹ ki awoṣe wa si ipo ni kikun laisi ṣiṣatunṣe ni igbesẹ kọọkan.
Agbekale-eto ẹrọ wo ni atilẹyin PagedAttention?
PagedAttention yawo foju iranti paging: kaṣe KV ti pin si awọn oju-iwe ti o wa titi ti o le gbe nibikibi, ti ya aworan nipasẹ tabili bulọọki.
Iṣoro wo pẹlu ipin kaṣe KV ibile ṣe PagedAttention yanju?
Ifipamọ okuta pẹlẹbẹ contiguous nla kan fun ibeere, ti o ni iwọn fun ipari max, padanu iye nla ti iranti GPU. Paging allocates kekere ohun amorindun lori eletan, slashing egbin.
Bawo ni PagedAttention ṣe jẹ ki awọn abajade lọpọlọpọ pin iranti fun itọsi ti o wọpọ?
Awọn ami-iṣaaju ti o jọmọ (awọn itọsi pinpin tabi awọn ẹka wiwa ina) tọka si awọn oju-iwe KV ti ara kanna, didakọ nikan nigbati ẹka kan ba yapa.
Nibo ni vLLM ati PagedAttention ti ni idagbasoke ni akọkọ?
vLLM ati PagedAttention algorithm wa jade ti UC Berkeley ninu iwe 2023 kan ati pe o yara di ẹrọ ṣiṣe orisun ṣiṣi ti a lo pupọ.