Dulmar
Mawqifka Interpolation (PI) waa farsamo fidisa qaabka luqadda ee la adeegsan karo daaqada macnaha guud oo ka fog dhererkeeda tababarka iyadoo dib loo cabbirayo tusmooyinka booska halkii laga saari lahaa. Waxay u ogolaataa moodal lagu tababaray, dheh, 2K ama 4K calaamaduhu waxay qabtaan 32K ama ka badan oo leh hagaajin khafiif ah oo keliya.
Dhexgalka Mawqifka Fidinta Macnaha guud waa qayb ka mid ah xidhmada luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo lagu beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Inta badan LLM-yada casriga ah waxay adeegsadaan isku-xidhka boosaska rotary (Rotary), kaas oo u codeeya booska sida xaglaha wareega ee lagu dabaqo weydiinta iyo fallaadhaha muhiimka ah. Haddii aad si fudud u quudiso taxane dheer, moodeelku waxa uu arkayaa boosaska iyo xaglaha wareega ee aanu waligiis tababaran, iyo waxqabadku wuu dumaa sababtoo ah dareenka ayaa si liidata uga baxsanaya soo noqnoqoshada ka baxsan. Dhexdhexaadinta booska waxay ka fogaataa ka-baxsanaanta: in laga bilaabo dhererka L ilaa dhererka L', waxay u qaybisaa tusaha boos kasta qodobka L'/L, iyada oo tuujinaysa kala duwanaanshaha cusub dib ugu noqoshada muddada tababarka. Qaabka hadda waligiis kaliya waxa uu arkayaa xaglaha qaybinta, oo si cufan loo kala fogeeyay. Laxan-dhammaan gaaban (badanaa dhowr boqol ilaa kun tallaabo) waxay u ogolaataa inay la qabsato kala dheeraynta fiican, taasoo keenaysa dabeecad deggan oo muddada dheer ah iyada oo qayb yar oo ah kharashka tababarka hore.
Aragtida Farsamada
Xadhiggu waxa uu ku wareejay lammaanaha cabbirka ee soo noqnoqonaya kuwaas oo si fiican u qallafsan. PI waxay dib u miisaamaysaa booska m ilaa m/s halka s = L'/L, markaa xaglaha wareeggu waxay ku sugnaadaan inta la tababaray halkii ay ka saari lahaayeen. Kala duwanaanshaha ogaanshaha soo noqnoqda sida NTK-aware scaling iyo YaRN ayaa sii socda: waxay cabbiraan soo noqnoqoshada hoose oo yar iyo soo noqnoqoshada sare oo badan (ama isku xidhka hirarka dhererka), ilaalinta tafaasiisha maxalliga ah ee soo noqnoqota sare iyada oo la kordhinayo soo noqnoqoshada hoose ee fogaanta fog.
Maaraynta Mawqifka Dhexdhexaadinta ee Fidinta Macnaha guud
Mawqifka Interpolation (PI) waa farsamo fidisa qaabka luqadda ee la adeegsan karo daaqada macnaha guud oo ka fog dhererkeeda tababarka iyadoo dib loo cabbirayo tusmooyinka booska halkii laga saari lahaa. Waxay u ogolaataa moodal lagu tababaray, dheh, 2K ama 4K calaamaduhu waxay qabtaan 32K ama ka badan oo leh hagaajin khafiif ah oo keliya. Dhexgalka Mawqifka Fidinta Macnaha guud waa qayb ka mid ah xidhmada luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo lagu beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Interpolation Interpolation for Context Extension qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya booska Interpolation for Context Extension design designs, soo celinta, iyo dib u eegis loops sida hal nidaam isgaarsiinta isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Kordhinta qaabka 4K-tababaran ee LLAMA oo la gaarsiinayo 32K macnaha guud si loo soo koobo dukumeenti dheer ka dib hagaajin gaaban oo gaaban.
Ku rarida dhammaan koodbase ama qandaraas qaanuuneed oo weyn hal degdeg ah oo loogu talagalay ka jawaabista su'aalaha faylka.
Isticmaalka NTK-aware ama cabirida YaRN si loo dheereeyo macnaha guud oo leh ugu yar ama aan lahayn tababar dheeraad ah.
U adeegida tariikhda wada sheekaysiga dheer iyada oo aan la jarin iyada oo dib loo habayn doono boosaska RoPE wakhtiga gorfaynta.
Hababka Dhaqangelinta
Dhexdhexaadinta Booska ee Fidinta Macnaha guud ahaan
Kordhinta qaabka 4K-tababaran ee LLAMA oo la gaarsiinayo 32K macnaha guud si loo soo koobo dukumeenti dheer ka dib hagaajin gaaban oo gaaban.
Kordhinta qaabka LLMA ee 4K-tababaran ee macnaha guud ee 32K si loo soo koobo dukumiintiyo dheer ka dib koofiyadaha hagaajinta kooban ee kooxuhu waxay inta badan helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Dhexdhexaadinta Booska ee Fidinta Macnaha guud ahaan
Ku rarida dhammaan koodbase ama qandaraas qaanuuneed oo weyn hal degdeg ah oo loogu talagalay ka jawaabista su'aalaha faylka.
Ku rarida dhammaan koodbase ama qandaraaska qaanuuniga ah ee hal mar oo loogu talagalay ka jawaabista su'aalaha faylka kooxuhu caadi ahaan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
Dhexdhexaadinta Booska ee Fidinta Macnaha guud ahaan
Isticmaalka NTK-aware ama cabirida YaRN si loo dheereeyo macnaha guud oo leh ugu yar ama aan lahayn tababar dheeraad ah.
Isticmaalka qiyaasta NTK-aware ama YaRN si loo dheereeyo macnaha guud oo leh ugu yaraan ama aan lahayn tababar dheeraad ah Kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
Dhexdhexaadinta Booska ee Fidinta Macnaha guud ahaan
U adeegida tariikhda wada sheekaysiga dheer iyada oo aan la jarin iyada oo dib loo habayn doono boosaska RoPE wakhtiga gorfaynta.
U adeegida taariikhda sheekada dheer iyada oo aan la jarin iyada oo dib u habeyn lagu sameeyo jagooyinka RoPE ee wakhtiga go'aaminta Kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Dhaqangelinta Roadmapka
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.