Dulmar
Multi-Query Attention (MQA) waa maroojin xasuus-badbaadin ah oo ku wajahan dareenka beddelka kaasoo wadaaga hal furayaal iyo qiyamka dhammaan madaxda dareenka. Waxa ay si aad ah u dedejisaa jiilka qoraalka iyada oo hoos u dhigaysa xusuusta ay tahay in moodelku isku shaandheeyo.
Feejignaanta Weydiimaha-badan waa qayb ka mid ah xidhmooyin luuqadda-AI loo isticmaalo in lagu akhriyo, curiyo, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Feejignaanta caadiga ah ee madax-madax badan ayaa siinaysa madax kasta weydiintiisa, furaha, iyo saadaalintiisa qiimaha. Inta lagu jiro jiilka, furayaasha iyo qiyamka dhammaan calaamadihii hore waa in la kaydiyaa oo dib loo raray tillaabo kasta - kaydkan KV wuxuu noqonayaa xannibaadda ugu weyn, maadaama akhrinta xusuusta ay ka yar tahay xisaabta lafteeda. Feejignaan su'aalo badan, oo uu soo jeediyay Noam Shazeer sanadka 2019, waxa uu hayaa odoroska weydiinta madax kasta laakiin waxa uu burburiyaa furayaasha iyo qiyamka hal madax oo la wadaago. Tani waxay ku yaraynaysaa kaydka KV qodob la mid ah tirada madax, mararka qaarkood 8x ilaa 64x ka yar. Natiijadu waxay tahay mid aad u degdeg badan oo autoregressive codeing iyo raad xusuusta fudud, oo leh kaliya maro tayo yar. Meel dhexe, Feejignaan-kooxeed-Su'aal, ayaa dheelli tiran ganacsiga-off
Aragtida Farsamada
MQA gudaheeda, miisaanka waydiinta ayaa wali soo saara vectors weydiinta H, laakiin hal saadaaliye oo muhiim ah iyo odoroska qiimaha kaliya ayaa la wadaaga dhammaan madaxda. Madax kastaa wuxuu xisaabiyaa dareenka isagoo isticmaalaya weydiintiisa oo ka soo horjeeda isla furayaasha iyo qiyamka. Sababtoo ah kiniiniyada K iyo V ee la kaydiyay hadda kuma eka tirada madaxyada, xajmiga xusuusta inta lagu jiro dejinta codeynta ayaa si aad ah hoos ugu dhacda - iyo bandwidth, oo aan xisaabin, waa waxa albaabbada xawaaraha kororiyeyaasha casriga ah.
Barashada Feejignaanta Weydiimaha Badan
Multi-Query Attention (MQA) waa maroojin xasuus-badbaadin ah oo ku wajahan dareenka beddelka kaasoo wadaaga hal furayaal iyo qiyamka dhammaan madaxda dareenka. Waxa ay si aad ah u dedejisaa jiilka qoraalka iyada oo hoos u dhigaysa xusuusta ay tahay in moodelku isku shaandheeyo. Feejignaanta Weydiimaha-badan waa qayb ka mid ah xidhmooyin luuqadda-AI loo isticmaalo in lagu akhriyo, curiyo, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, u daawee Feejignaanta Su'aalaha Badan sida moodeel hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya soojeedin nashqadeynta Feejignaanta Su'aalaha-badan, soo celinta, iyo dib u eegista wareegyada sidii hal nidaam isgaarsiineed oo isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Dardar gelinta jiilka calaamo-calaamad ee caawiyayaasha wada sheekaysiga halkaas oo kaydka KV, ee aan ahayn xisaabinta cayriin, ay xaddidayso wax-soo-saarka.
Google's PaLM, taas oo adeegsatay Feejignaanta Su'aalaha Badan si ay awood ugu yeelato cabbir baaxad leh oo hufan.
U adeegida isticmaaleyaal badan oo isku-xiran hal GPU iyadoo la dhimayo codsi kasta ee xusuusta KV.
Feejignaanta Su'aalaha Kooxaysan ee Llama 2 70B iyo Llama 3, faraca tooska ah ee dheellitiraya xawaaraha MQA oo leh tayada feejignaan buuxda.
Hababka Dhaqangelinta
Feejignaan su'aalo badan oo ficil ahaan ah
Dardar gelinta jiilka calaamo-calaamad ee caawiyayaasha wada sheekaysiga halkaas oo kaydka KV, ee aan ahayn xisaabinta cayriin, ay xaddidayso wax-soo-saarka.
Kor u qaadida jiilka calaamada calaamada ee caawiyayaasha wada sheekaysiga halkaas oo khasnadda KV, ee aan ahayn xisaabinta cayriin, xaddidaysa kooxaha wax soo saarka inta badan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Feejignaan su'aalo badan oo ficil ahaan ah
Google's PaLM, taas oo adeegsatay Feejignaanta Su'aalaha Badan si ay awood ugu yeelato cabbir baaxad leh oo hufan.
Google's PaLM, oo adeegsatay Feejignaanta Su'aalo-badan si ay awood ugu siiso kooxuhu wax-soo-saarka baaxadda leh sida caadiga ah waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Feejignaan su'aalo badan oo ficil ahaan ah
U adeegida isticmaaleyaal badan oo isku-xiran hal GPU iyadoo la dhimayo codsi kasta ee xusuusta KV.
U adeegida isticmaaleyaal badan oo isku-xiran oo hal GPU ah iyada oo la dhimayo codsi kasta ee KV kaydka xusuusta Kooxaha waxay caadi ahaan helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Feejignaan su'aalo badan oo ficil ahaan ah
Feejignaanta Su'aalaha Kooxaysan ee Llama 2 70B iyo Llama 3, faraca tooska ah ee dheellitiraya xawaaraha MQA oo leh tayada feejignaan buuxda.
Feejignaanta Su'aalaha kooxaysan ee Llama 2 70B iyo Llama 3, faraca tooska ah ee dheellitiraya xawaaraha MQA ee tayada feejignaanta buuxda Kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.