Qiyaasida Daaqadda Macnaha YaRN
YaRN (Haddana xadhig kale oo dheeraad ah) waa farsamo fidisa daaqadda macnaha guud ee la isticmaali karo ee transformer-ka oo aad uga fog waxa lagu baray, oo leh habayn aad u yar.
Dulmar
It matters because it lets existing models handle much longer documents without retraining from scratch.
quusid qoto dheer
Inta badan LLM-yada casriga ahi waxay ku qoraan boosaska ereyga iyagoo isticmaalaya Rotary Position Embeddings (Rotary Position Embeddings) Quudi si isdaba joog ah oo moodeelku si xun buu u hoos u dhigayaa. YaRN waxay ku xallisaa tan iyadoo dib u habayn ku samaynaysa wareegyada roPE ee hab soo noqnoqonaya: cabbirrada soo noqnoqda (kuwaas oo qabta xidhiidhada maxaliga ah iyo kuwa u dhow) inta badan lama taabtaan, halka cabbirada soo noqnoqoshada hoose (kuwaaso qabta booska fogaanta) ay isku xidhan yihiin. Waxa kale oo ay ku darsataa hagaajinta heerkulka fiiro gaar ah si loo ilaaliyo logisyada si wanaagsan loogu dhaqmo meelo fog. Natiijadu, oo lagu muujiyay moodooyinka LLAMA, waxay ku fidisaa macnaha guud ee 4K ilaa 64K-128K calaamadaha iyadoo la adeegsanayo kaliya 0.1% xogta tababarka asalka ah iyo dhowr boqol oo tillaabo hagaajin ah.
Aragtida Farsamada
RoPE waxa uu ku wareejaa weydiinta iyo fallaadhaha muhiimka ah xagal u dhigma booska iyo inta jeer ee cabbir kasta. Dhexdhexaadinta toosan ee toosan (Position Interpolation) waxay si isku mid ah u jajabisaa dhammaan soo noqnoqoshada, iyadoo dhaawaceysa tafaasiisha gudaha. YaRN beddelkeeda waxa ay khusaysaa 'NTK-by-parts': waxa ay isku xidhaa oo kaliya cabbirada hoose ee soo noqnoqda (mawjada dheer), waxa ay ka tagtaa kuwa soo noqnoqonaya oo kali ah, oo dhexmara dhexdooda. Heerkulka foojignaanta ee miisaanka ayaa magdhow u ah isbeddelka entropy, ilaalinta saxnaanta dhererka dheer.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Daaqadda Macnaha guud ee YaRN
Kordhinta ogaanshaha soo noqnoqda ee qaabka YaRN waxay noqotay shay aan caadi ahayn oo loogu talagalay dhoofinta moodooyinka macnaha guud; Kala duwanaanshiyaha iyo guulaystayaashu waxay u muuqdaan inay u muuqdaan inay shaybaadhku u riixayaan daaqadaha milyan-token. Filo is dhexgal adag oo fiiro gaar ah leh, KV-cache compression, iyo miisaan firfircoon oo hagaajinaya duullimaadka codsi kasta. Isbeddelka ballaaran ayaa kala saaraya 'intee in le'eg ayaa model la tababaray' laga bilaabo 'inta uu si faa'iido leh u akhrin karo', taasoo ka dhigaysa macnaha guud mid raqiis ah ka dib tababarka halkii ay ka ahaan lahayd ballanqaad dhismeed qaali ah.
Dhaqangelinta Adduunka-dhabta ah
Kordhinta moodeel LLAMA furan laga bilaabo 4K ilaa 128K calaamado si ay u galiso dhammaan koodbase ama qandaraas dheer oo hal baas ah
U ogolow chatbot-ku inuu sii hayo taarikhda wada sheekaysiga aadka u dheer iyada oo aan la jarin wareegyada hore
Soo koobida dukumeentiyada dhererka buuga ama qoraalada saacadaha badan ee ka badan moodeelka daaqada hooyo
Si raqiis ah ula qabsiga qaabka horay loo tababaray ee hawlaha soo celinta macnaha guud iyadoo la isticmaalayo kaliya orod yar oo hagaajin ah
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN Context Window Scaling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Macnaha Daaqadaha
Su'aalaha soo noqnoqda
What is YaRN Context Window Scaling?
YaRN (Haddana xadhig kale oo dheeraad ah) waa farsamo fidisa daaqadda macnaha guud ee la isticmaali karo ee transformer-ka oo aad uga fog waxa lagu baray, oo leh habayn aad u yar. Waa muhiim sababtoo ah waxay u ogolaataa moodooyinka jira inay qabtaan dukumeenti aad u dheer iyaga oo aan dib uga soo laaban xoqin.
Waa maxay nidaamka codaynta ee YaRN ay wax ka beddesho si loo kordhiyo dhererka macnaha guud?
YaRN waxay u taagan tahay 'Weli xarig kale oo dheeri ah' waxayna ka shaqeysaa dib u habeynta wareegyada wareegyada ee loo adeegsado Ku-xirnaanta Booska Wareegtada.
Sidee ayay YaRN u daawaysaa soo noqnoqoshada sare iyo cabbirada RoPE-ga hooseeya?
Habka 'NTK-qayb-qayb'' ee YaRN wuxuu ilaaliyaa cabbirrada soo noqnoqoshada sare (maxalli ah) iyadoo la dhexgelinayo kuwa soo noqnoqonaya hoose (dherer-dheer) ah si looga fogaado waxyeellaynta faahfaahinta maxalliga ah.
Waa maxay faa'iidada muhiimka ah ee waxtarka leh ee YaRN marka loo eego tababbarka moodeelka mawduuca dheer ee eber?
YaRN waxay kordhin kartaa macnaha guud iyadoo la isticmaalayo qiyaastii 0.1% xogta tababarka asalka ah iyo tiro yar oo tillaabo hagaajin ah, oo aad uga jaban dib u tababarida.
Marka laga soo tago dib-u-cusboonaynta soo noqnoqoshada, waa maxay hagaajinta dheeraadka ah ee YaRN ay khusayso si ay u ilaaliso feejignaanta fog?
YaRN waxay wax ka beddeshaa heerkulka dareenka si ay u magdhowdo isbeddelka entropy/Logit ee dhaca marka taxaneyaashu aad u dheeraadaan.
Dhibaato noocee ah ayaa dhacaya haddii aad quudiso taxanaha moodeelka RoPE oo aad uga dheer intii lagu tababaray, iyada oo aan wax miisaan ah lahayn?
Xadhiggu guud ahaan si liidata ilaa jagooyinka dhaadheer ee aan la arkin, markaa tayada ayaa burburta ilaa inta jeer ee la cabiro mooyaane.