Nchịkọta
Nleba anya ajụjụ ọnụ (GQA) bụ ụzọ isi belata ebe nchekwa achọrọ n'oge ọgbọ ederede site n'ikwe ka ọtụtụ ndị isi ajụjụ kesaa otu igodo na isi uru. Ọ na-eme ka nnukwu ụdị ngwa ngwa na-eje ozi na ọ fọrọ nke nta ka ọ dịghị mma ọnwụ.
Nlebanya-ajụjụ agbakọtara bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, na gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
N'ọkwa ọkọlọtọ nlebara anya ọtụtụ isi, isi ọ bụla nwere ajụjụ, igodo, na ụkpụrụ nke ya. N'oge ọgbọ, igodo na ụkpụrụ maka akara ngosi niile gara aga na-echekwa (' cache 'KV') ka ihe nlereanya ahụ ghara ịgbakọ ha. Na ọtụtụ isi na ogologo okirikiri, cache a na-aghọ nnukwu ma na-achịkwa bandwit ebe nchekwa n'oge ntinye. GQA, nke ndị nyocha Google webatara na 2023, na-achịkọta ndị isi ajụjụ wee nye otu ọ bụla otu isi igodo na isi uru. Ọ bụrụ na ị nwere isi ajụjụ 32 mana naanị otu KV 8, cache KV na-agbada ihe ruru okpukpu anọ. Nke a na-anọdụ n'etiti nlebara anya multi-isi zuru oke (isi ọ bụla dị iche iche) na nlebara anya ọtụtụ ajụjụ (otu kesara KV maka isi niile), na-ewepụta ọtụtụ ọsọ nke MQA ka ị na-edobe àgwà nso na nlebara anya zuru oke. Llama 2 70B na ọtụtụ ụdị emechara nakweere ya.
Nghọta nka nka
Ogo nlebara anya na-adabere kpamkpam n'inwe ọtụtụ ntụzịaka ajụjụ dị iche, mana ọ na-anabata ikesa igodo na ụkpụrụ. GQA na-erigbu asymmetry a: ọ na-edobe isi ajụjụ niile mana ọ na-emegharị isi KV nke ọ bụla n'ime ajụjụ ndị dị na otu ya. Ihe nchekwa ahụ na-abịa na ntinye, ebe nchekwa KV bụ onye na-azụ ahịa bandwidth ebe nchekwa; isi KV ole na ole pụtara obere data ịgụta kwa akara ngosi emepụtara. A na-azụkarị ụdịdị a nwa oge iji gbanwee ebe nlele ọtụtụ isi dị ugbu a ka ọ bụrụ nke GQA.
Nleba anya n'ajụjụ ọnụ-mmanụ
Nleba anya ajụjụ ọnụ (GQA) bụ ụzọ isi belata ebe nchekwa achọrọ n'oge ọgbọ ederede site n'ikwe ka ọtụtụ ndị isi ajụjụ kesaa otu igodo na isi uru. Ọ na-eme ka nnukwu ụdị ngwa ngwa na-eje ozi na ọ fọrọ nke nta ka ọ dịghị mma ọnwụ. Nlebanya-ajụjụ agbakọtara bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, na gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Nlebaanya Ajụjụ Grouped dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, wee kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Nleba anya Nlebaanya Grouped-Query kpaliri, iweghachite, na nyocha loops dị ka otu usoro nkwukọrịta agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Llama 2 70B na Llama 3 na-eji GQA na-eji obere oghere KV jee ozi ogologo oge.
Mbelata ebe nchekwa GPU ka ụdị nkata buru ibu dabara na ngwa ngwa ole na ole ma ọ bụ dị ọnụ ala
Na-eme ka ọgbọ token-site-token dị ngwa na mmepụta API ebe bandwit KV-cache bụ ihe mgbochi
Na-eme ka nha batch buru ibu maka ijere ọtụtụ ndị ọrụ ozi n'otu oge na-enweghị ebe nchekwa na-agwụ ike
Usoro mmejuputa
Nlebara anya ajụjụ ọnụ agbakọtara na omume
Llama 2 70B na Llama 3 na-eji GQA na-eje ozi ogologo oge na obere oghere KV.
Llama 2 70B na Llama 3 na-eji GQA na-eje ozi ogologo oge na obere oghere KV dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Nlebara anya ajụjụ ọnụ agbakọtara na omume
Mbelata ebe nchekwa GPU ka ụdị nkata buru ibu dabara na ngwa ngwa ole na ole ma ọ bụ dị ọnụ ala.
Mbelata ebe nchekwa GPU ka ụdị nkata buru ibu dabara na ndị na-eme ngwa ngwa dị ole na ole ma ọ bụ dị ọnụ ala Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Nlebara anya ajụjụ ọnụ agbakọtara na omume
Na-eme ka ọgbọ token-site-token dị ngwa na mmepụta API ebe bandwit KV-cache bụ ihe mgbochi.
Ịme ngwa ngwa token-site-token na mmepụta API ebe KV-cache bandwit bụ ọkpọkọ otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ dịkwuo elu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Nlebara anya ajụjụ ọnụ agbakọtara na omume
Na-eme ka nha batch buru ibu maka ijere ọtụtụ ndị ọrụ ozi n'otu oge na-enweghị ebe nchekwa na-agwụ ike.
Inye nnukwu batch maka ijere ọtụtụ ndị ọrụ ozi n'otu oge na-enweghị ike ọgwụgwụ ebe nchekwa Otu egwuregwu na-enwetakarị nsonaazụ ka mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmadụ na-abawanye maka oke ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie n'oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.