Nchịkọta
Paged Ntị bụ usoro njikwa ebe nchekwa nke na-echekwa oghere nlebara anya nke ụdị asụsụ n'obere ngọngọ enwere ike iji ya mee ihe kama ịbụ otu nnukwu mkpọ. Ọ na-akwado vLLM, injin na-enye ọrụ mepere emepe nke na-akwalite arịrịọ ole otu GPU nwere ike ijikwa.
PagedNttention na vLLM bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ogo nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Mgbe ụdị asụsụ na-ewepụta ederede, ọ na-edobe 'KV cache' (igodo na uru vectors) maka akara ọ bụla ọ hụrụ ka akara na-esote wee banye n'uju. Na omenala, arịrịọ ọ bụla debere otu nnukwu ebe nchekwa GPU na-aga n'ihu maka ogologo ogologo ya, na-efunahụ nnukwu ego mgbe usoro dị mkpụmkpụ ma ọ bụ dịgasị iche n'ogologo. PagedNttention, ewebatara na 2023 vLLM akwụkwọ sitere na UC Berkeley, na-enweta echiche nke paging ebe nchekwa mebere site na sistemụ arụmọrụ: ọ na-ekewa oghere KV ka ọ bụrụ ihe mgbochi nwere ike ibi ebe ọ bụla na ebe nchekwa wee kenye ya na ihe achọrọ. Tebụl nchọta na-esetịpụ ọnọdụ akara ezi uche dị na ngọngọ anụ ahụ. Nke a fọrọ nke nta ka ọ kwụsịlata nkewa ebe nchekwa ma na-ahapụ ka ekesa ihe mgbochi, dịka ọmụmaatụ n'ofe ọtụtụ nsonaazụ sitere na otu ngwa ngwa.
Nghọta nka nka
A na-ekewa cache KV n'ime ibe ndị nwere oke, nke ọ bụla na-ejide igodo na ụkpụrụ maka ọnụọgụ akara. Maapụ tebụl nke usoro-usoro, na-esetịpụ ọnọdụ ezi uche dị na ya na ebe ihu akwụkwọ anụ ahụ, yabụ cache nke usoro ekwesịghị ịdị na-aga n'ihu. N'ihi na prefixes yiri ya (otu usoro ngwa ngwa, ma ọ bụ alaka-nchọgharị ọkụ) nwere ike na-atụ aka n'otu ibe anụ ahụ site na idetu-na-dere, a na-ejigharị ebe nchekwa kama ịmegharị ya, na-ebelata ihe mkpofu site na 60% ruo pasent ole na ole.
Nleba anya Paged na vLLM
Paged Ntị bụ usoro njikwa ebe nchekwa nke na-echekwa oghere nlebara anya nke ụdị asụsụ n'obere ngọngọ enwere ike iji ya mee ihe kama ịbụ otu nnukwu mkpọ. Ọ na-akwado vLLM, injin na-enye ọrụ mepere emepe nke na-akwalite arịrịọ ole otu GPU nwere ike ijikwa. PagedNttention na vLLM bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ogo nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso PagedAttention na vLLM dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji PagedAttention na vLLM na-ebuli ụkpụrụ ụlọ, data, na nhọrọ akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Bochum API LLM mepere emepe ebe vLLM na-ejere ọtụtụ ndị na-akparịta ụka n'otu oge site na otu GPU na ntinye dị elu.
Ịkekọrịta ogologo usoro ọsọ ọsọ gafere puku kwuru puku arịrịọ site na caching prefix ka e wee hazie ya otu ugboro, ọ bụghị ugboro ugboro.
Ọchụchọ beam na-agba ọsọ ma ọ bụ ọtụtụ mmecha egosipụtara na-ekekọrịta KV blocks maka ngwa ngwa a na-ahụkarị site na idetu-na-dere.
Ịbelata ihe mkpofu ebe nchekwa GPU site na nkewa ka onye na-eweta ya nwee ike ibukọ oge n'otu oge karịa n'otu ngwaike
Usoro mmejuputa
PagedNttention na vLLM na omume
Bochum API LLM mepere emepe ebe vLLM na-ejere ọtụtụ ndị na-akparịta ụka n'otu oge site na otu GPU na ntinye dị elu.
Bochum API LLM mepere emepe ebe vLLM na-ejere ọtụtụ ndị na-akparịta ụka n'otu oge site na otu GPU na nnukwu mmepụta otu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
PagedNttention na vLLM na omume
Ịkekọrịta ogologo usoro ọsọ ọsọ gafere puku kwuru puku arịrịọ site na caching prefix ka e wee hazie ya otu ugboro, ọ bụghị ugboro ugboro.
Ịkekọrịta usoro ogologo oge gafere puku kwuru puku arịrịọ site na caching prefix ka a na-ahazi ya otu ugboro, ọ bụghị ugboro ugboro Otu egwuregwu na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
PagedNttention na vLLM na omume
Ọchụchọ beam na-agba ọsọ ma ọ bụ ọtụtụ mmecha egosipụtara nke na-ekekọrịta ngọngọ KV maka ngwa ngwa a na-ahụkarị site na idetu-na-dere.
Nchọgharị beam na-agba ọsọ ma ọ bụ mmezu nke ọtụtụ ihe atụpụtara nke na-ekekọrịta ihe mgbochi KV maka ngwa ngwa sitere na otu na-edegharị na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ihu, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
PagedNttention na vLLM na omume
Ịbelata ihe mkpofu ebe nchekwa GPU site na nkewa ka onye na-eweta ya nwee ike ibukọ oge n'otu oge karịa n'otu ngwaike.
Ibelata ihe mkpofu ebe nchekwa GPU site na nkewa ka onye na-eweta ya nwee ike ibukọ nnọkọ n'otu oge n'otu ngwaike otu ngwaike na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, wee soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.