Dulmar
YaRN (Haddana xadhig kale oo dheeraad ah) waa farsamo fidisa daaqadda macnaha guud ee la isticmaali karo ee transformer-ka oo aad uga fog waxa lagu baray, oo leh habayn aad u yar. Waa muhiim sababtoo ah waxay u ogolaataa moodooyinka jira inay qabtaan dukumeenti aad u dheer iyaga oo aan dib uga soo laaban xoqin.
Daaqadda Macnaha guud YaRN waa qayb ka mid ah xirmada luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu soo saaro, lagu kala saaro, oo lagu beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Inta badan LLM-yada casriga ahi waxay ku qoraan boosaska ereyga iyagoo isticmaalaya Rotary Position Embeddings (Rotary Position Embeddings) Quudi si isdaba joog ah oo moodeelku si xun buu u hoos u dhigayaa. YaRN waxay ku xallisaa tan iyadoo dib u habayn ku samaynaysa wareegyada roPE ee hab soo noqnoqonaya: cabbirrada soo noqnoqda (kuwaas oo qabta xidhiidhada maxaliga ah iyo kuwa u dhow) inta badan lama taabtaan, halka cabbirada soo noqnoqoshada hoose (kuwaaso qabta booska fogaanta) ay isku xidhan yihiin. Waxa kale oo ay ku darsataa hagaajinta heerkulka fiiro gaar ah si loo ilaaliyo logisyada si wanaagsan loogu dhaqmo meelo fog. Natiijadu, oo lagu muujiyay moodooyinka LLAMA, waxay ku fidisaa macnaha guud ee 4K ilaa 64K-128K calaamadaha iyadoo la adeegsanayo kaliya 0.1% xogta tababarka asalka ah iyo dhowr boqol oo tillaabo hagaajin ah.
Aragtida Farsamada
RoPE waxa uu ku wareejaa weydiinta iyo fallaadhaha muhiimka ah xagal u dhigma booska iyo inta jeer ee cabbir kasta. Dhexdhexaadinta toosan ee toosan (Position Interpolation) waxay si isku mid ah u jajabisaa dhammaan soo noqnoqoshada, iyadoo dhaawaceysa tafaasiisha gudaha. YaRN beddelkeeda waxa ay khusaysaa 'NTK-by-parts': waxa ay isku xidhaa oo kaliya cabbirada hoose ee soo noqnoqda (mawjada dheer), waxa ay ka tagtaa kuwa soo noqnoqonaya oo kali ah, oo dhexmara dhexdooda. Heerkulka foojignaanta ee miisaanka ayaa magdhow u ah isbeddelka entropy, ilaalinta saxnaanta dhererka dheer.
Barashada Daaqadda Macnaha guud ee YaRN
YaRN (Haddana xadhig kale oo dheeraad ah) waa farsamo fidisa daaqadda macnaha guud ee la isticmaali karo ee transformer-ka oo aad uga fog waxa lagu baray, oo leh habayn aad u yar. Waa muhiim sababtoo ah waxay u ogolaataa moodooyinka jira inay qabtaan dukumeenti aad u dheer iyaga oo aan dib uga soo laaban xoqin. Daaqadda Macnaha guud YaRN waa qayb ka mid ah xirmada luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu soo saaro, lagu kala saaro, oo lagu beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Daaqadda Macnaha YaRN qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya YaRN Context Window Scaling design designs, soo celin, iyo dib u eegis wareegyada sida hal nidaam isgaarsiin isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Kordhinta moodeel LLAMA furan oo ka socda 4K ilaa 128K calaamado si ay u galiso dhammaan koodbase ama qandaraas dheer oo hal baas ah
U ogolow chatbot-ku inuu sii hayo taarikhda wada sheekaysiga aadka u dheer iyada oo aan la jarin wareegyada hore
Soo koobida dukumeentiyada dhererka buuga ama qoraalada saacadaha badan ee ka badan moodeelka daaqada hooyo
Si raqiis ah ula qabsiga qaabka horay loo tababaray ee hawlaha soo celinta macnaha guud iyadoo la isticmaalayo kaliya orod yar oo hagaajin ah
Hababka Dhaqangelinta
Daaqadda macnaha guud ee YaRN ee ficil ahaan
Kordhinta qaabka LLAMA furan ee 4K ilaa 128K calaamado si ay u galiso koodbase dhan ama qandaraas dheer oo hal baas ah.
Kordhinta qaabka LLAMA furan ee 4K ilaa calaamadaha 128K si ay u galiso dhammaan koodba ama qandaraas dheer oo hal baas ah Kooxuhu badanaa waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u ilaali dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Daaqadda macnaha guud ee YaRN ee ficil ahaan
U ogolow chatbot-ku inuu sii hayo taarikhda wada sheekaysiga aadka u dheer iyada oo aan la jarin wareegyada hore.
U oggolaanshaha chatbot-ku inuu sii hayo taariikhda wada sheekeysiga ee aad u dheer iyada oo aan la gooyn leexin hore Kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
Daaqadda macnaha guud ee YaRN ee ficil ahaan
Soo koobida dukumeenti dhererka buugaagta ama qoraalada saacadaha badan ee dhaafsan moodeelka asalka ah.
Soo koobida dukumeenti dhererka buugaagta ama qoraalada saacadaha badan ee dhaafa moodeelka asalka ah kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Daaqadda macnaha guud ee YaRN ee ficil ahaan
Si raqiis ah u habaynta qaabka horay loo tababaray ee hawlaha dib u soo celinta muddada-dheer iyadoo la adeegsanayo kaliya orod yar oo hagaajin ah.
Si fudud u la qabsiga qaabka horay loo tababaray ee hawlaha dib u soo celinta muddada-dheer iyadoo la adeegsanayo kaliya socodsiinta hagaajinta yar ee kooxuhu caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay sii wadaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashka qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Dhaqangelinta Roadmapka
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.