Dulmar
Dariishada simbiriirixa leh waxay xaddidaysaa calaamad kasta inuu tago oo keliya xaafad cabbir go'an oo calaamado dhow ah beddelkii dhammaan taxanaha oo dhan. Tani waxay yaraynaysaa qiimaha afar geesoodka ah ee dareenka caadiga ah ilaa toosan, taasoo ka dhigaysa moodooyinka mawduuca dheer aad uga jaban in la ordo.
Feejignaanta Daaqadda simbiriirixidda waa qayb ka mid ah xidhmooyin luuqadda-AI loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Heerarka is-fiirinta ayaa isbarbar dhigaya calaamad kasta iyo calaamad kasta oo kale, sidaa darteed isku xigxiga dhererka N wuxuu u baahan yahay qiyaas ahaan isbarbardhigga N-squared. Daaqadaha silbashada leh ayaa tan hagaajiya iyadoo siinaya calaamad kasta daaqad cabbirka W ah (dheh 4,096 calaamadood) oo kaliya oo la xiriira deriska gudaha daaqadaas. Qiimuhu wuxuu u koraa N times W halkii uu ka ahaan lahaa N-squared. Muhiimad ahaan, isugaynta lakabyo badan oo daaqado leh ayaa balaadhinaya goobta wax-ku-oolka ah ee soo dhawaynta: lakabyada L ka dib, macluumaadku waxay ku faafi karaan qiyaas ahaan L times W calaamado, sida beerta soo dhawaynta ee CNN ee sii kordheysa. Mistral 7B waxa ay tan ku faafisay 4,096-token oo ka kooban 32 lakab, iyada oo gaadhay dhererka 131K-token. Moodooyinka badanaa waxay isku daraan lakabyo daaqado leh iyo lakabyo foojignaan buuxa ah oo marmar ah si loo ilaaliyo isku xirka fogaanta.
Aragtida Farsamada
Maaskarada feejignaanta, su'aalaha booska i waxaa loo ogol yahay oo kaliya in lagu arko furayaasha boosaska i laga jaray W lagu daray 1 ilaa i (kiis sababta). Maaskaradan aadka u yar waxay ka dhigan tahay kaydka KV wuxuu kaliya u baahan yahay calaamadaha W ee ugu dambeeya lakabkiiba, oo dilaya xusuusta inta lagu jiro jiilka. Sababtoo ah daaqadu waxay ku beddeshaa calaamad kasta oo cusub, waxay si dabiici ah ula lammaanaysaa kaydka kaydinta rogroga ah kaas oo dib u qora gelinta ugu da'da weyn halkii uu weligiis sii koraan.
Hagaajinta Feejignaanta Daaqadda Silqulaya
Dariishada simbiriirixa leh waxay xaddidaysaa calaamad kasta inuu tago oo keliya xaafad cabbir go'an oo calaamado dhow ah beddelkii dhammaan taxanaha oo dhan. Tani waxay yaraynaysaa qiimaha afar geesoodka ah ee dareenka caadiga ah ilaa toosan, taasoo ka dhigaysa moodooyinka mawduuca dheer aad uga jaban in la ordo. Feejignaanta Daaqadda simbiriirixidda waa qayb ka mid ah xidhmooyin luuqadda-AI loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Daaqadda Silciya sidii qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u samayn karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya Daaqadda Silciya waxay soo jeediyaan naqshadaynta, soo celinta, iyo dib u eegista wareegyada sidii hal nidaam isgaarsiineed oo isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Mistral 7B waxay isticmaashaa 4,096-token daaqado simbiriirixan ah oo dhexmara lakabkeeda si ay wax uga qabato soo-jeedinta dheer si raqiis ah GPU-yada macaamiisha ah.
Longformer waxa ay khusaysaa dareenka daaqadaha iyo dhawr calaamadood oo caalami ah si loo kala saaro oo loo soo koobo dukumeenti bogag badan leh.
Gemma 2 waxa ay beddeshaa lakabyada daaqadaha silbanaya ee maxaliga ah oo leh lakabyo feejignaan caalami ah si loo dheellitiro xawaaraha iyo soo celinta fogaanta fog.
Rolling-buffer KV khasnadaha ku jira kaaliyeyaasha wada sheekaysiga waxa ay hayaan kaliya daaqaddii ugu dambaysay ee calaamadihii, iyaga oo xajiya xusuusta inta lagu jiro wada sheekaysiga dheer.
Hababka Dhaqangelinta
Daaqadda simbiriirixidda fiiro gaar ah u leh
Mistral 7B waxay isticmaashaa 4,096-token daaqado simbiriirixan ah oo dhexmara lakabkeeda si ay wax uga qabato soo-jeedinta dheer si raqiis ah GPU-yada macaamiisha ah.
Mistral 7B waxay isticmaashaa 4,096-token daaqado simbiriirixan oo lakabkeeda ah si ay ula tacaalaan dhaq-dhaqaaqyada dheer ee raqiis ah ee macaamiisha GPU-yada Kooxaha badanaa waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Daaqadda simbiriirixidda fiiro gaar ah u leh
Longformer waxa ay khusaysaa dareenka daaqadaha iyo dhawr calaamadood oo caalami ah si loo kala saaro oo loo soo koobo dukumeenti bogag badan leh.
Longformer waxa ay khusaysaa dareenka daaqadaha iyo dhawr calaamadood oo caalami ah si loo kala saaro oo loo soo koobo dukumeenti bogag badan kooxuhu caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Daaqadda simbiriirixidda fiiro gaar ah u leh
Gemma 2 waxa ay beddeshaa lakabyada daaqadaha silbanaya ee maxaliga ah oo leh lakabyo feejignaan caalami ah si loo dheellitiro xawaaraha iyo soo celinta fogaanta fog.
Gemma 2 waxa ay beddeshaa lakabyada daaqadaha silbashada ee maxaliga ah oo leh lakabyo feejignaan caalami ah si ay isugu dheelitiraan xawaaraha iyo dib u soo celinta fogaanta kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Daaqadda simbiriirixidda fiiro gaar ah u leh
Rolling-buffer KV khasnadaha ku jira kaaliyeyaasha wada sheekaysiga waxa ay hayaan kaliya daaqaddii ugu dambaysay ee calaamadihii, iyaga oo xajiya xusuusta inta lagu jiro wada sheekaysiga dheer.
Rolling-buffer KV caches ee caawiyayaasha sheekeysiga waxay hayaan kaliya daaqada ugu dambeysay ee calaamada, xusuusta xajinta inta lagu jiro wada sheekeysiga dheer Kooxuhu waxay badanaa helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.