Feejignaan su'aal badan
Multi-Query Attention (MQA) waa maroojin xasuus-badbaadin ah oo ku wajahan dareenka beddelka kaasoo wadaaga hal furayaal iyo qiyamka dhammaan madaxda dareenka.
Dulmar
Waxa ay si aad ah u dedejisaa jiilka qoraalka iyada oo hoos u dhigaysa xusuusta ay tahay in moodelku isku shaandheeyo.
quusid qoto dheer
Feejignaanta caadiga ah ee madax-madax badan waxay siinaysaa madax kasta weydiintiisa, furaha, iyo saadaalintiisa qiimaha. Inta lagu jiro jiilka, furayaasha iyo qiyamka dhammaan calaamadihii hore waa in la kaydiyaa oo dib loo raray tillaabo kasta - kaydkan KV wuxuu noqonayaa xannibaadda ugu weyn, maadaama akhrinta xusuusta ay ka yar tahay xisaabta lafteeda. Feejignaan su'aalo badan, oo uu soo jeediyay Noam Shazeer sanadka 2019, waxa uu hayaa odoroska weydiinta madax kasta laakiin waxa uu burburiyaa furayaasha iyo qiyamka hal madax oo la wadaago. Tani waxay ku yaraynaysaa kaydka KV qodob la mid ah tirada madax, mararka qaarkood 8x ilaa 64x ka yar. Natiijadu waxay tahay mid aad u degdeg badan oo autoregressive codeing iyo raad xusuusta fudud, oo leh kaliya maro tayo yar. Meel dhexe, Feejignaan-kooxeed-Su'aal, ayaa dheelli tiran ganacsiga-off
Aragtida Farsamada
MQA gudaheeda, miisaanka waydiinta ayaa wali soo saara vectors weydiinta H, laakiin hal saadaaliye oo muhiim ah iyo odoroska qiimaha kaliya ayaa la wadaaga dhammaan madaxda. Madax kastaa wuxuu xisaabiyaa dareenka isagoo isticmaalaya weydiintiisa oo ka soo horjeeda isla furayaasha iyo qiyamka. Sababtoo ah kiniiniyada K iyo V ee la kaydiyay hadda kuma eka tirada madaxyada, xajmiga xusuusta inta lagu jiro dejinta codeynta ayaa si aad ah hoos ugu dhacda - iyo bandwidth, oo aan xisaabin, waa waxa albaabbada xawaaraha kororiyeyaasha casriga ah.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Feejignaanta Weydiimaha Badan
MQA waxay dejisay inaad gooyn karto madax furaha/qiimaha aan badnayn oo waxyeello yar leh, iyo aragtidaas hadda waxay qaabaysaa ku dhawaad LLM kasta oo degdeg ah. Goobtu waxay si weyn isugu soo ururtay Feejignaanta Kooxeed-Su'aallaha (GQA), ee lagu isticmaalo Llama 2/3 iyo kuwo kale oo badan, kuwaas oo adeegsada dhawr kooxood oo KV ah halkii ay ka ahaan lahaayeen mid si ay u soo kabtaan tayada iyada oo la ilaalinayo inta badan xawaaraha. Shaqada mustaqbalka waxay ku daraa fikradahan KV-cache cufnaanta, qiyaasid, iyo feejignaan badan oo qarsoon si loo riixo macnaha guud iyo adeeg ka jaban.
Dhaqangelinta Adduunka-dhabta ah
Dardar gelinta jiilka calaamo-calaamad ee caawiyayaasha wada sheekaysiga halkaas oo kaydka KV, ee aan ahayn xisaabinta cayriin, ay xaddidayso wax-soo-saarka.
Google's PaLM, taas oo adeegsatay Feejignaanta Su'aalaha Badan si ay awood ugu yeelato cabbir baaxad leh oo hufan.
U adeegida isticmaaleyaal badan oo isku-xiran hal GPU iyadoo la dhimayo codsi kasta ee xusuusta KV.
Feejignaanta Su'aalaha Kooxaysan ee Llama 2 70B iyo Llama 3, faraca tooska ah ee dheellitiraya xawaaraha MQA oo leh tayada feejignaan buuxda.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Feejignaan-kooxeed
Su'aalaha soo noqnoqda
Waa maxay Feejignaanta Weydiimaha Badan?
Multi-Query Attention (MQA) waa maroojin xasuus-badbaadin ah oo ku wajahan dareenka beddelka kaasoo wadaaga hal furayaal iyo qiyamka dhammaan madaxda dareenka. Waxa ay si aad ah u dedejisaa jiilka qoraalka iyada oo hoos u dhigaysa xusuusta ay tahay in moodelku isku shaandheeyo.
Waa maxay dareenka su'aalo badan oo la wadaaga dhammaan madaxda dareenka?
MQA waxay haysaa su'aalo gaar ah madax kasta laakiin waxay la wadaagtaa hal saadaaliye oo muhiim ah iyo hal saadaaliye oo qiime leh dhammaan madaxyada.
Waa maxay cilada aasaasiga ah ee MQA ay wax ka qabato inta lagu jiro jiilka autoregressive?
Dib-u-dejinta khasnadda weyn ee KV tallaabo kasta waxay ku xidhan tahay bandwidth-ku-xidhan; MQA way yaraysaa kaydkaas si ay u dedejiso furista
Qiyaastii qodobkee ayaa MQA u dhimaya kaydka KV?
Maaddaama furayaasha iyo qiyamku ay ka burburaan madaxyada H ilaa hal, kaydku wuu yaraanayaa qiyaas ahaan tirinta madaxa.
Waa maxay ganacsiga ugu weyn ee isticmaalka MQA?
Wadaagista furayaasha iyo qiyamku waxay yaraynaysaa awoodda wakiilnimada wax yar, taasoo keenaysa hoos u dhac yar oo tayo leh oo lagu beddelayo guulaha xawaaraha weyn.
Kala duwanaanshiyaha u dhexeeya heerka feejignaanta madax-badan iyo MQA?
Kooxed-Query Attention (GQA) waxay isticmaashaa dhawr kooxood oo KV halkii ay ka isticmaali lahaayeen hal, iyaga oo dheellitiraya tayada iyo xawaaraha.