Feejignaan-kooxeed
Feejignaanta Kooxeed-Query (GQA) waa hab lagu dhimo xusuusta loo baahan yahay inta lagu jiro jiilka qoraalka iyadoo loo oggolaanayo dhowr madax su'aalood inay wadaagaan furaha iyo madaxa qiimaha isku mid ah.
Dulmar
It makes large models much faster to serve with almost no quality loss.
quusid qoto dheer
Lakabka feejignaanta madax-badan ee caadiga ah, madax kastaa wuxuu leeyahay weydiimo, furayaal, iyo qiyam u gaar ah. Inta lagu jiro jiilka, furayaasha iyo qiyamka dhammaan calaamadihii hore waa la kaydiyay ('KV cache') si uusan moodelku dib u xisaabin. Madax badan iyo duruufo dhaadheer, khasnaddani waxay noqotaa mid aad u weyn waxayna xukumaan baaxadda xajinta xusuusta waqtiga fikradda. GQA, oo ay soo bandhigeen Google cilmi-baarayaal sanadka 2023, waxay kooxeeyaan madaxda weydiinta waxayna koox kasta siisaa hal gole oo la wadaago oo furaha iyo madaxda qiimaha leh. Haddii aad haysato 32 madax su'aal laakiin kaliya 8 kooxood oo KV ah, kaydka KV wuxuu yaraanayaa qiyaas ahaan afar laab. Tani waxay ku fadhidaa inta u dhaxaysa feejignaanta madax-badan oo buuxa (madax kasta oo gooni ah) iyo feejignaan su'aalo badan (mid la wadaago KV ee dhammaan madaxyada), qabashada inta badan xawaaraha MQA iyadoo tayada lagu hayo feejignaan buuxda. Llama 2 70B iyo noocyo badan oo dambe ayaa qaatay.
Aragtida Farsamada
Tayada feejignaanta waxay si weyn ugu xiran tahay haysashada tilmaamo badan oo kala duwan, laakiin waxay u dulqaadataa wadaaga furayaasha iyo qiyamka. GQA waxay ka faa'iidaysataa is-maandhaafkan: waxay haysaa dhammaan madaxyada waydiinta laakiin waxay ku celcelisaa madaxa KV kasta oo la wadaago dhammaan weydiimaha kooxdeeda. Kaydinta waxay ku timaaddaa fikradda, halkaas oo kaydka KV uu yahay macaamilka ugu weyn ee xajinta xusuusta; madax yar oo KV ah macnaheedu waa xog yar oo la akhriyi karo calaamad kasta oo la soo saaro. Qaababka ayaa inta badan 'la hagaajiyay' si kooban si loogu beddelo isbaarada madax-madax badan ee jirta oo loo beddelo mid GQA ah.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Feejignaanta Su'aalaha kooxaysan
GQA hadda waa jaangooyo caadiga ah ee moodooyinka miisaanka furan sababtoo ah waxay si nadiif ah uga ganacsataa qiimo yar oo tayo leh oo loogu talagalay guulo adeeg oo waaweyn. Filo in ay si sii kordheysa ugu darto khiyaamooyinka kale ee waxtarka leh sida FlashAttention, KV-cache quantization, iyo qorshayaal cusub sida feejignaanta qarsoon ee madax-badan oo cadaadinaysa kaydka xitaa intaa ka sii badan. Marka ay daaqadaha macnaha guud koraan, xakamaynta cabbirka-cache-ga ee KV-gu waxay ahaanaysaa mushkilad naqshadaynta dhexe ah, iyo qaabka GQA-ga qaybsiga madaxa waxa ay ahaan doontaa kabaal muhiim ah.
Dhaqangelinta Adduunka-dhabta ah
Llama 2 70B iyo Llama 3 iyaga oo isticmaalaya GQA si ay ugu adeegaan xaalado dheer oo leh kayd yar oo KV ah
Yaraynta xusuusta GPU-da si qaab-sheekeysi weyn uu ugu habboonaado xawaareyaasha ka yar ama ka jaban
Dardar gelinta jiilka calaamad-by-token ee API-yada wax soo saarka halkaas oo KV-cache bandwidth ay tahay cirifka
Awood u siinta cabbirro waaweyn oo loogu adeegayo isticmaaleyaal badan isku mar iyada oo aan daalin xusuusta
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Feejignaan su'aal badan
Su'aalaha soo noqnoqda
What is Grouped-Query Attention?
Feejignaanta Kooxeed-Query (GQA) waa hab lagu dhimo xusuusta loo baahan yahay inta lagu jiro jiilka qoraalka iyadoo loo oggolaanayo dhowr madax su'aalood inay wadaagaan furaha iyo madaxa qiimaha isku mid ah. Waxay ka dhigaysa moodooyinka waaweyn si dhakhso ah si ay ugu adeegaan iyada oo aan wax tayo leh lahayn.
Feejignaan-kooxeed-Su'aal, maxaa la wadaagaa kooxda madaxda weydiinta?
GQA waxay haysaa madax su'aalo gaar ah laakiin waxay u ogolaataa koox kasta oo iyaga ka mid ah inay wadaagaan hal xidhmo oo furayaal ah iyo madax qiimayaal ah, iyagoo yaraynaya kaydka KV.
GQA waxaa sida ugu wanaagsan loogu tilmaamay meel dhexe oo u dhaxaysa labada daraf?
Madax-badan ayaa madax walba siinaya KV u gaar ah; su'aalo badan ayaa wadaagaya hal KV dhammaan madaxda; GQA waxay dhex fadhidaa dhawr kooxood oo KV ah.
Waa maxay qayb ka mid ah fikradda GQA ugu horrayn ka jaban tahay?
Kaydinta waxay soo baxdaa wakhtiga jiilka, halkaasoo akhrinta khasnadda KV ay tahay qiimaha ugu badan ee xusuusta-bandwidth-ka.
Haddii moodal leeyahay 32 madax waydiimo iyo 8 kooxood oo KV ah, khasnadda KV waa la dhimay qiyaastee?
32 madax su'aalood oo ay u qaybiyeen 8 kooxood oo KV ah oo la wadaago ayaa ku dhawaad afar laab hoos u dhac ku keenaya furayaasha iyo qiyamka la kaydiyay.
Maxay GQA u ilaalin kartaa inta badan tayada moodeelka in kasta oo la wadaago madaxda KV?
Feejignaanta waxay u dulqaadan tahay wadaaga furayaasha iyo qiyamka oo aad uga wanaagsan sida ay u dulqaadan karto luminta jihooyinka kala duwan ee su'aalaha, markaa GQA waxay ilaalinaysaa tayada sare.