Luqadda AI HAGAHA
Feejignaan su'aal badan
Multi-Query Attention (MQA) waa maroojin xasuus-badbaadin ah oo ku wajahan dareenka beddelka kaasoo wadaaga hal furayaal iyo qiyamka dhammaan madaxda dareenka.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
Waxa ay si aad ah u dedejisaa jiilka qoraalka iyada oo hoos u dhigaysa xusuusta ay tahay in moodelku isku shaandheeyo.
quusid qoto dheer
Feejignaanta caadiga ah ee madax-madax badan waxay siinaysaa madax kasta weydiintiisa, furaha, iyo saadaalintiisa qiimaha. Inta lagu jiro jiilka, furayaasha iyo qiyamka dhammaan calaamadihii hore waa in la kaydiyaa oo dib loo raray tillaabo kasta - kaydkan KV wuxuu noqonayaa xannibaadda ugu weyn, maadaama akhrinta xusuusta ay ka yar tahay xisaabta lafteeda. Feejignaan su'aalo badan, oo uu soo jeediyay Noam Shazeer sanadka 2019, waxa uu hayaa odoroska weydiinta madax kasta laakiin waxa uu burburiyaa furayaasha iyo qiyamka hal madax oo la wadaago. Tani waxay ku yaraynaysaa kaydka KV qodob la mid ah tirada madax, mararka qaarkood 8x ilaa 64x ka yar. Natiijadu waxay tahay mid aad u degdeg badan oo autoregressive codeing iyo raad xusuusta fudud, oo leh kaliya maro tayo yar. Meel dhexe, Feejignaan-kooxeed-Su'aal, ayaa dheelli tiran ganacsiga-off
Dhaqangelinta Adduunka-dhabta ah
Dardar gelinta jiilka calaamo-calaamad ee caawiyayaasha wada sheekaysiga halkaas oo kaydka KV, ee aan ahayn xisaabinta cayriin, ay xaddidayso wax-soo-saarka.
Google's PaLM, taas oo adeegsatay Feejignaanta Su'aalaha Badan si ay awood ugu yeelato cabbir baaxad leh oo hufan.
U adeegida isticmaaleyaal badan oo isku-xiran hal GPU iyadoo la dhimayo codsi kasta ee xusuusta KV.
Feejignaanta Su'aalaha Kooxaysan ee Llama 2 70B iyo Llama 3, faraca tooska ah ee dheellitiraya xawaaraha MQA oo leh tayada feejignaan buuxda.
Mustaqbalka Feejignaanta Weydiimaha Badan
MQA waxay dejisay inaad gooyn karto madax furaha/qiimaha aan badnayn oo waxyeello yar leh, iyo aragtidaas hadda waxay qaabaysaa ku dhawaad LLM kasta oo degdeg ah. Goobtu waxay si weyn isugu soo ururtay Feejignaanta Kooxeed-Su'aallaha (GQA), ee lagu isticmaalo Llama 2/3 iyo kuwo kale oo badan, kuwaas oo adeegsada dhawr kooxood oo KV ah halkii ay ka ahaan lahaayeen mid si ay u soo kabtaan tayada iyada oo la ilaalinayo inta badan xawaaraha. Shaqada mustaqbalka waxay ku daraa fikradahan KV-cache cufnaanta, qiyaasid, iyo feejignaan badan oo qarsoon si loo riixo macnaha guud iyo adeeg ka jaban.
Ku dhaqangelinta
Maxay muhiim u tahay
- Xawaaraha iyo miisaanka. Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
- Helitaanka iyo gaarsiinta. Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
- Go'aamo cad. Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Iska ilaali
- Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
- Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
- Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Tallaabooyinka xiga
- Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
- Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
- Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
- Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Multi-Query Attention quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay Feejignaanta Weydiimaha Badan?
Multi-Query Attention (MQA) waa maroojin xasuus-badbaadin ah oo ku wajahan dareenka beddelka kaasoo wadaaga hal furayaal iyo qiyamka dhammaan madaxda dareenka. Waxa ay si aad ah u dedejisaa jiilka qoraalka iyada oo hoos u dhigaysa xusuusta ay tahay in moodelku isku shaandheeyo.
Waa maxay dareenka su'aalo badan oo la wadaaga dhammaan madaxda dareenka?
MQA waxay haysaa su'aalo gaar ah madax kasta laakiin waxay la wadaagtaa hal saadaaliye oo muhiim ah iyo hal saadaaliye oo qiime leh dhammaan madaxyada.
Waa maxay cilada aasaasiga ah ee MQA ay wax ka qabato inta lagu jiro jiilka autoregressive?
Dib-u-dejinta khasnadda weyn ee KV tallaabo kasta waxay ku xidhan tahay bandwidth-ku-xidhan; MQA way yaraysaa kaydkaas si ay u dedejiso furista
Qiyaastii qodobkee ayaa MQA u dhimaya kaydka KV?
Maaddaama furayaasha iyo qiyamku ay ka burburaan madaxyada H ilaa hal, kaydku wuu yaraanayaa qiyaas ahaan tirinta madaxa.
Waa maxay ganacsiga ugu weyn ee isticmaalka MQA?
Wadaagista furayaasha iyo qiyamku waxay yaraynaysaa awoodda wakiilnimada wax yar, taasoo keenaysa hoos u dhac yar oo tayo leh oo lagu beddelayo guulaha xawaaraha weyn.
Kala duwanaanshiyaha u dhexeeya heerka feejignaanta madax-badan iyo MQA?
Kooxed-Query Attention (GQA) waxay isticmaashaa dhawr kooxood oo KV halkii ay ka isticmaali lahaayeen hal, iyaga oo dheellitiraya tayada iyo xawaaraha.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan