Imọ Itọsọna
PagedAttention ati vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Jin Dive
Nigbati awoṣe ede kan ba n ṣe agbejade ọrọ, o tọju 'kaṣe KV' (bọtini ati awọn olutọpa iye) fun gbogbo ami ti o ti rii nitorina ami ami atẹle le wa si aaye kikun. Ni aṣa kọọkan ibeere ti wa ni ipamọ ọkan ti o tobi contiguous pẹlẹbẹ ti GPU iranti iwọn fun awọn oniwe-o pọju ti ṣee ṣe ipari, jafara tobi oye akojo nigba ti awọn ilana wà kikuru tabi orisirisi ni ipari. Paged Ifarabalẹ, ti a ṣe sinu iwe 2023 vLLM lati UC Berkeley, yawo imọran ti paging iranti foju lati awọn ọna ṣiṣe: o pin kaṣe KV sinu awọn bulọọki iwọn ti o wa titi ti o le gbe nibikibi ni iranti ati pin lori ibeere. Awọn maapu tabili awọn maapu awọn ipo ami ti oye si awọn bulọọki ti ara. Eyi fẹrẹ yọkuro pipin iranti ati jẹ ki a pin awọn bulọọki, fun apẹẹrẹ kọja awọn abajade lọpọlọpọ lati itọsi kanna.
Real-World imuse
Alejo LLM API orisun-ìmọ nibiti vLLM ti nṣe iranṣẹ fun ọpọlọpọ awọn olumulo iwiregbe nigbakanna lati GPU kan ni igbejade giga
Pipinpin itọsi eto gigun kọja ẹgbẹẹgbẹrun awọn ibeere nipasẹ caching prefix nitorinaa o ṣe ilana lẹẹkan, kii ṣe leralera
Ṣiṣe wiwa tan ina tabi awọn ipari apẹẹrẹ pupọ ti o pin awọn bulọọki KV fun itọsi ti o wọpọ nipasẹ ẹda-lori-kọ
Gige egbin iranti GPU lati pipin ki olupese le di awọn akoko igbakana diẹ sii sori ohun elo kanna
Ojo iwaju ti PagedAttention ati vLLM
vLLM ti di eegun ẹhin itọkasi orisun ṣiṣi aiyipada, ati awọn imọran PagedAttention ni bayi han kọja ọpọlọpọ awọn akopọ iṣẹ. Reti caching ìpele ti o jinlẹ (atunlo awọn itọsi eto ṣiṣamulo kọja awọn olumulo), iṣaju iṣakojọpọ ati iyipada lori awọn ẹrọ ọtọtọ, awọn ilana itusilẹ ijafafa, ati isọpọ ṣinṣin pẹlu titobi ati iyipada arosọ. Bi awọn ferese ọrọ ti o dagba si awọn miliọnu awọn ami-ami, iṣakoso KV oju-iwe ti o munadoko di paapaa aarin diẹ sii si mimu iṣẹ ṣiṣe ni ifarada.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the PagedAttention and vLLM quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini PagedAttention ati vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Kini 'kaṣe KV' n tọju lakoko iran ọrọ?
Kaṣe KV naa di bọtini ati awọn olutọpa iye fun gbogbo ami ami iṣaaju, jẹ ki awoṣe wa si ipo ni kikun laisi ṣiṣatunṣe ni igbesẹ kọọkan.
Agbekale-eto ẹrọ wo ni atilẹyin PagedAttention?
PagedAttention yawo foju iranti paging: kaṣe KV ti pin si awọn oju-iwe ti o wa titi ti o le gbe nibikibi, ti ya aworan nipasẹ tabili bulọọki.
Iṣoro wo pẹlu ipin kaṣe KV ibile ṣe PagedAttention yanju?
Ifipamọ okuta pẹlẹbẹ contiguous nla kan fun ibeere, ti o ni iwọn fun ipari max, padanu iye nla ti iranti GPU. Paging allocates kekere ohun amorindun lori eletan, slashing egbin.
Bawo ni PagedAttention ṣe jẹ ki awọn abajade lọpọlọpọ pin iranti fun itọsi ti o wọpọ?
Awọn ami-iṣaaju ti o jọmọ (awọn itọsi pinpin tabi awọn ẹka wiwa ina) tọka si awọn oju-iwe KV ti ara kanna, didakọ nikan nigbati ẹka kan ba yapa.
Nibo ni vLLM ati PagedAttention ti ni idagbasoke ni akọkọ?
vLLM ati PagedAttention algorithm wa jade ti UC Berkeley ninu iwe 2023 kan ati pe o yara di ẹrọ ṣiṣe orisun ṣiṣi ti a lo pupọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii