Nchịkọta
Ihe nchekwa KV na-echekwa igodo na uru vectors nke transformer agbakọọlarị maka akara ndị gara aga, yabụ na ọ gaghị agbakọ ha maka mkpụrụokwu ọhụrụ ọ bụla ọ na-ewepụta. Ọ bụ otu nnukwu ihe kpatara ọgbọ ederede ji dị ngwa - yana isi ihe na-eri ebe nchekwa GPU gị n'oge mkparịta ụka ogologo.
Cache KV bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, kewaa, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ndị ntụgharị na-emepụta ederede otu token n'otu oge, na oyi akwa akara ngosi ọhụrụ ọ bụla kwesịrị iji tụnyere nke ọ bụla tupu akara. Usoro nlebara anya na-atụgharị akara nke ọ bụla ka ọ bụrụ ajụjụ, igodo, na vector uru. Na-enweghị caching, ịmepụta nọmba akara 1,000 ga-apụta iweghachi igodo na ụkpụrụ maka akara ngosi 999 mbụ n'oge ọ bụla - arụ ọrụ anọ na-abaghị uru. Ihe nchekwa KV na-echekwa igodo na uru vector ndị ahụ ka agbakọchara ha wee jiri ya mee ihe ọzọ, yabụ nzọụkwụ ọhụrụ ọ bụla na-agbakọ vectors maka otu akara ọhụrụ kachasị ọhụrụ wee gaa na ebe nchekwa echekwara. Nke a na-ebelata ọnụ ahịa otu-token site n'iji ogologo usoro were mee ka ọ bụrụ ihe na-adịgide adịgide. Azụmahịa ahụ bụ ebe nchekwa: cache na-eto n'ahịrị na ogologo okirikiri, ọnụ ọgụgụ nke ọkwa, na isi nlebara anya, na-aghọkarị onye na-azụ ahịa ebe nchekwa na-eje ozi ogologo oge.
Nghọta nka nka
N'oge usoro 'prefill' ihe nlereanya ahụ na-ahazi ngwa ngwa ma jupụta cache; n'oge 'decode' ọ na-agbakwunye otu K/V token kwa steepụ wee gụgharịa. Nha cache nha dị ka 2 (K na V) × n'ígwé × isi × isi_dim × usoro_ogologo × ogbe, na nkenke ahọpụtara. Iji mezi nke a, ụdị ọgbara ọhụrụ na-eji nleba anya nke mkpokọta ma ọ bụ ajụjụ ọtụtụ iji kesaa igodo/ụkpụrụ n'ofe isi, yana sistemụ ozi dị ka vLLM na-eji PagedAttention ekenye cache na ngọngọ na-abụghị nke na-aga n'ihu, na-egbutu nkewa na mkpofu.
Ijikwa KV cache
Ihe nchekwa KV na-echekwa igodo na uru vectors nke transformer agbakọọlarị maka akara ndị gara aga, yabụ na ọ gaghị agbakọ ha maka mkpụrụokwu ọhụrụ ọ bụla ọ na-ewepụta. Ọ bụ otu nnukwu ihe kpatara ọgbọ ederede ji dị ngwa - yana isi ihe na-eri ebe nchekwa GPU gị n'oge mkparịta ụka ogologo. Cache KV bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, kewaa, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, mesoo KV Cache dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, wee kewapụ ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu siri ike na-eji KV Cache imewe mkpali, iweghachite, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Ịmelite nzaghachi chatbot ngwa ngwa site na iji igodo/ụkpụrụ echekwara na akụkọ mkparịta ụka kama ịhazigharị ya n'oge ọ bụla.
Ndozi ihe nrịbama nke na-ekekọrịta cache maka ogologo sistemụ na-aga n'ihu n'ọtụtụ ndị ọrụ, na-ebelata ọnụ ahịa yana latency.
vLLM's Paged Ntị n'ịhazi cache KV na ngọngọ iji jeere ọtụtụ arịrịọ oge na otu GPU nke ọma.
Na-agụta cache KV iji wedata nkenke ka ọ dabara ogologo ọnọdụ na ebe nchekwa GPU nwere oke.
Usoro mmejuputa
Cache KV na omume
Ịmelite nzaghachi chatbot ngwa ngwa site na iji igodo/ụkpụrụ echekwara na akụkọ mkparịta ụka kama ịhazigharị ya n'oge ọ bụla.
Ịmeghachi nzaghachi chatbot ngwa ngwa site na iji igodo / ụkpụrụ echekwara na akụkọ mkparịta ụka kama ịmegharị ya na ntụgharị ọ bụla Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru mmepụta yana ụgwọ njehie na oge.
Cache KV na omume
Ndozi ihe nrịbama nke na-ekekọrịta cache maka ogologo sistemụ na-aga n'ihu n'ọtụtụ ndị ọrụ, na-ebelata ọnụ ahịa yana latency.
Prefix caching nke na-ekesa cache maka ogologo usoro na-aga n'ihu n'ofe ọtụtụ ndị ọrụ, ịbelata ọnụ ahịa na ndị otu latency na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.
Cache KV na omume
vLLM's Paged Ntị n'ịhazi cache KV na ngọngọ iji jeere ọtụtụ arịrịọ oge na otu GPU nke ọma.
vLLM's PagedNttention ijikwa KV cache na ngọngọ iji jeere ọtụtụ arịrịọ oge na-aga n'ihu n'otu GPU nke ọma Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
Cache KV na omume
Na-agụta cache KV iji wedata nkenke ka ọ dabara ogologo ọnọdụ na ebe nchekwa GPU nwere oke.
Ịmepụta ihe nchekwa KV iji wedata nkenke iji dabara ogologo ọnọdụ n'ime obere ebe nchekwa GPU na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ihu, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.