Dulmar
Feejignaanta Kooxeed-Query (GQA) waa hab lagu dhimo xusuusta loo baahan yahay inta lagu jiro jiilka qoraalka iyadoo loo oggolaanayo dhowr madax su'aalood inay wadaagaan furaha iyo madaxa qiimaha isku mid ah. Waxay ka dhigaysa moodooyinka waaweyn si dhakhso ah si ay ugu adeegaan iyada oo aan wax tayo leh lahayn.
Feejignaan Kooxeed-Su'aalo-weydiin waa qayb ka mid ah xidhmooyin luuqadda-AI loo isticmaalo in lagu akhriyo, soo saaro, kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Lakabka feejignaanta madax-badan ee caadiga ah, madax kastaa wuxuu leeyahay weydiimo, furayaal, iyo qiyam u gaar ah. Inta lagu jiro jiilka, furayaasha iyo qiyamka dhammaan calaamadihii hore waa la kaydiyay ('KV cache') si uusan moodelku dib u xisaabin. Madax badan iyo duruufo dhaadheer, khasnaddani waxay noqotaa mid aad u weyn waxayna xukumaan baaxadda xajinta xusuusta waqtiga fikradda. GQA, oo ay soo bandhigeen Google cilmi-baarayaal sanadka 2023, waxay kooxeeyaan madaxda weydiinta waxayna koox kasta siisaa hal gole oo la wadaago oo furaha iyo madaxda qiimaha leh. Haddii aad haysato 32 madax su'aal laakiin kaliya 8 kooxood oo KV ah, kaydka KV wuxuu yaraanayaa qiyaas ahaan afar laab. Tani waxay ku fadhidaa inta u dhaxaysa feejignaanta madax-badan oo buuxa (madax kasta oo gooni ah) iyo feejignaan su'aalo badan (mid la wadaago KV ee dhammaan madaxyada), qabashada inta badan xawaaraha MQA iyadoo tayada lagu hayo feejignaan buuxda. Llama 2 70B iyo noocyo badan oo dambe ayaa qaatay.
Aragtida Farsamada
Tayada feejignaanta waxay si weyn ugu xiran tahay haysashada tilmaamo badan oo kala duwan, laakiin waxay u dulqaadataa wadaaga furayaasha iyo qiyamka. GQA waxay ka faa'iidaysataa is-maandhaafkan: waxay haysaa dhammaan madaxyada waydiinta laakiin waxay ku celcelisaa madaxa KV kasta oo la wadaago dhammaan weydiimaha kooxdeeda. Kaydinta waxay ku timaaddaa fikradda, halkaas oo kaydka KV uu yahay macaamilka ugu weyn ee xajinta xusuusta; madax yar oo KV ah macnaheedu waa xog yar oo la akhriyi karo calaamad kasta oo la soo saaro. Qaababka ayaa inta badan 'la hagaajiyay' si kooban si loogu beddelo isbaarada madax-madax badan ee jirta oo loo beddelo mid GQA ah.
U fiirsashada Su'aalaha kooxaysan
Feejignaanta Kooxeed-Query (GQA) waa hab lagu dhimo xusuusta loo baahan yahay inta lagu jiro jiilka qoraalka iyadoo loo oggolaanayo dhowr madax su'aalood inay wadaagaan furaha iyo madaxa qiimaha isku mid ah. Waxay ka dhigaysa moodooyinka waaweyn si dhakhso ah si ay ugu adeegaan iyada oo aan wax tayo leh lahayn. Feejignaan Kooxeed-Su'aalo-weydiin waa qayb ka mid ah xidhmooyin luuqadda-AI loo isticmaalo in lagu akhriyo, soo saaro, kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Feejignaanta Kooxeed-Su'aallaha sida moodal hawlgelineed, ma aha hal sifo: qeex natiijooyinka la rabo, caddee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya Naqshad Feejignaan Kooxeed-Su'aal, soo celin, iyo dib u eegis wareegyada sida hal nidaam isgaarsiinta isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Llama 2 70B iyo Llama 3 iyagoo isticmaalaya GQA si ay ugu adeegaan xaalado dheer oo leh kayd yar oo KV ah
Yaraynta xusuusta GPU-da si qaab-sheekeysi weyn uu ugu habboonaado xawaareyaasha ka yar ama ka jaban
Dardar gelinta jiilka calaamad-by-token ee API-yada wax soo saarka halkaas oo KV-cache bandwidth ay tahay cirifka
Awood u siinta cabbirro waaweyn oo loogu adeegayo isticmaaleyaal badan isku mar iyada oo aan daalin xusuusta
Hababka Dhaqangelinta
Feejignaan kooxaysan-Su'aal ku saabsan ficil ahaan
Llama 2 70B iyo Llama 3 iyagoo isticmaalaya GQA si ay ugu adeegaan xaalado dheer oo leh kayd yar oo KV ah.
Llama 2 70B iyo Llama 3 oo isticmaalaya GQA si ay ugu adeegaan duruufo dheer oo leh kayd yar oo KV ah Kooxaha sida caadiga ah waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Feejignaan kooxaysan-Su'aal ku saabsan ficil ahaan
Yaraynta xusuusta GPU-da si qaab-sheekeysi weyn uu ugu habboonaado xawaareyaasha ka yar ama ka jaban.
Hoos u dhigista xusuusta GPU-da si qaab-sheekeysi weyn uu ugu habboonaado dardar-geliyayaasha ka yar ama ka jaban Kooxuhu waxay caadi ahaan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Feejignaan kooxaysan-Su'aal ku saabsan ficil ahaan
Dardar gelinta jiilka calaamad-by-token ee API-yada wax soo saarka halkaas oo KV-cache bandwidth ay tahay cirifka.
Kor u qaadida jiilka calaamadaynta ee API-yada wax soo saarka ee KV-cache bandwidth waa cirifka dhalooyinka Kooxuhu waxay badanaa helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Feejignaan kooxaysan-Su'aal ku saabsan ficil ahaan
Awood u siinta cabbirro waaweyn oo loogu adeegayo isticmaaleyaal badan isku mar iyada oo aan daalin xusuusta.
Awood u siinta cabbirro waaweyn oo loogu adeego isticmaaleyaal badan isla mar ahaantaana iyada oo aan daalin xusuusta Kooxuhu caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.