Nchịkọta
Multi-Query Attention (MQA) bụ ntụgharị nchekwa nchekwa na nleba anya nke mgbanwe na-ekerịta otu igodo na ụkpụrụ n'ofe isi nlebara anya niile. Ọ na-eme ka ọgbọ ederede dị ngwa ngwa site na ibelata ebe nchekwa ihe nlereanya ahụ ga-agbagharị gburugburu.
Nleba anya n'ọtụtụ ajụjụ bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Nlebara anya ọtụtụ isi ọkọlọtọ na-enye onye isi ọ bụla ajụjụ ajụjụ, igodo ya na amụma uru ya. N'oge ọgbọ, igodo na ụkpụrụ maka akara ngosi niile gara aga ga-echekwa ma bugharịa ya na nzọụkwụ ọ bụla - cache KV a na-aghọ ihe bụ isi, ebe ọ bụ na ịgụ ya site na ebe nchekwa dị nwayọọ karịa mgbakọ na mwepụ n'onwe ya. Ntị ajụjụ ọtụtụ, nke Noam Shazeer tụpụtara na 2019, na-edobe amụma ajụjụ dị iche iche n'otu isi mana ọ daa igodo na ụkpụrụ n'otu isi na-ekekọrịta. Nke a na-ebelata cache KV site na nha nha nha nke isi, mgbe ụfọdụ 8x ruo 64x pere mpe. Ihe si na ya pụta bụ ngbanwe akpaaka ngwa ngwa yana akara ukwu ebe nchekwa dị nfe, na-enwe naanị njiri mara mma. Ebe etiti, Nleba anya ajụjụ ọnụ, na-eme ka azụmaahịa ahụ guzozie.
Nghọta nka nka
Na MQA, arọ ajụjụ ka na-emepụta vector ajụjụ H dị iche, mana otu ntule isi na ntule otu uru na-ekekọrịta n'ofe isi niile. Onye isi ọ bụla na-agbakọ nlebara anya na-eji ajụjụ nke ya megide otu igodo na ụkpụrụ. N'ihi na echere K na V tenors anaghịzi enwe ọnụ ọgụgụ nke isi, bandwidth ebe nchekwa n'oge ngbanwe na-ada nke ọma - yana bandwit, ọ bụghị ịgbakọ, bụ ihe ọnụ ụzọ ámá na-agba ọsọ na ngwa ngwa ọgbara ọhụrụ.
Ịmalite nlebara anya ọtụtụ ajụjụ
Multi-Query Attention (MQA) bụ ntụgharị nchekwa nchekwa na nleba anya nke mgbanwe na-ekerịta otu igodo na ụkpụrụ n'ofe isi nlebara anya niile. Ọ na-eme ka ọgbọ ederede dị ngwa ngwa site na ibelata ebe nchekwa ihe nlereanya ahụ ga-agbagharị gburugburu. Nleba anya n'ọtụtụ ajụjụ bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Nleba anya Multi-Query dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwapụta nsonaazụ achọrọ, dokwuo anya echiche, kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Nleba anya Multi-Query na-akpali, iweghachi na loops nyocha dị ka otu usoro nzikọrịta ozi agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-eme ka ọgbọ token site-token ọsọ ọsọ na ndị enyemaka nkata ebe nchekwa KV, ọ bụghị mkpokọta raw, na-amachi ntinye.
Google's PaLM, nke jiri Multi-Query Attention mee ka ntinye aka buru ibu rụọ ọrụ nke ọma.
Ijere ọtụtụ ndị ọrụ na-emekọ ihe ọnụ n'otu GPU site na ibelata ebe nchekwa nchekwa KV nke ọ bụla.
Nlebanya ajụjụ ọnụ nke agbakọtara na Llama 2 70B na Llama 3, nwa nwa na-edozi ọsọ MQA na nlebara anya zuru oke.
Usoro mmejuputa
Nleba anya ọtụtụ ajụjụ na omume
Na-eme ka ọgbọ token site-token ọsọ ọsọ na ndị enyemaka nkata ebe nchekwa KV, ọ bụghị mkpokọta raw, na-amachi ntinye.
Ịmelite ọgbọ nke token site na ndị na-enyere aka mkparịta ụka ebe nchekwa KV, ọ bụghị mkpokọta raw, na-amachi otu mmepụta ihe na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru mmepụta yana ụgwọ njehie na oge.
Nleba anya ọtụtụ ajụjụ na omume
Google's PaLM, nke jiri Multi-Query Attention mee ka ntinye aka buru ibu rụọ ọrụ nke ọma.
Google's PaLM, nke jiri Multi-Query Attention, iji mee ka ndị otu ọnụ ọgụgụ buru ibu na-arụ ọrụ nke ọma na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.
Nleba anya ọtụtụ ajụjụ na omume
Ijere ọtụtụ ndị ọrụ na-emekọ ihe ọnụ n'otu GPU site na ibelata ebe nchekwa nchekwa KV nke ọ bụla.
Ijere ọtụtụ ndị ọrụ na-emekọ ihe ọnụ n'otu GPU site n'ịbelata arịrịọ KV cache ebe nchekwa otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Nleba anya ọtụtụ ajụjụ na omume
Nlebanya ajụjụ ọnụ nke agbakọtara na Llama 2 70B na Llama 3, nwa nwa na-edozi ọsọ MQA na nlebara anya zuru oke.
Grouped-Query Attention in Llama 2 70B na Llama 3, nwa nwa na-edozi ọsọ nke MQA na nlebara anya zuru oke Otu egwuregwu na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.