Dhexdhexaadinta Booska ee Kordhinta Macnaha guud
Mawqifka Interpolation (PI) waa farsamo fidisa qaabka luqadda ee la adeegsan karo daaqada macnaha guud oo ka fog dhererkeeda tababarka iyadoo dib loo cabbirayo tusmooyinka booska halkii laga saari lahaa.
Dulmar
Waxay u oggolaaneysaa moodel lagu tababaray, tusaale ahaan, 2K ama 4K tokens uu maareeyo 32K ama ka badan iyadoo la adeegsanayo kaliya hagaajinta fudud.
quusid qoto dheer
Inta badan LLM-yada casriga ah waxay adeegsadaan isku-xidhka boosaska rotary (Rotary), kaas oo u codeeya booska sida xaglaha wareega ee lagu dabaqo weydiinta iyo fallaadhaha muhiimka ah. Haddii aad si fudud u quudiso taxane dheer, moodeelku waxa uu arkayaa boosaska iyo xaglaha wareega ee aanu waligiis tababaran, iyo waxqabadku wuu dumaa sababtoo ah dareenka ayaa si liidata uga baxsanaya soo noqnoqoshada ka baxsan. Dhexdhexaadinta booska waxay ka fogaataa ka-baxsanaanta: in laga bilaabo dhererka L ilaa dhererka L', waxay u qaybisaa tusaha boos kasta qodobka L'/L, iyada oo tuujinaysa kala duwanaanshaha cusub dib ugu noqoshada muddada tababarka. Qaabka hadda waligiis kaliya waxa uu arkayaa xaglaha qaybinta, oo si cufan loo kala fogeeyay. Laxan-dhammaan gaaban (badanaa dhowr boqol ilaa kun tallaabo) waxay u ogolaataa inay la qabsato kala dheeraynta fiican, taasoo keenaysa dabeecad deggan oo muddada dheer ah iyada oo qayb yar oo ah kharashka tababarka hore.
Aragtida Farsamada
Xadhiggu waxa uu ku wareejay lammaanaha cabbirka ee soo noqnoqonaya kuwaas oo si fiican u qallafsan. PI waxay dib u miisaamaysaa booska m ilaa m/s halka s = L'/L, markaa xaglaha wareeggu waxay ku sugnaadaan inta la tababaray halkii ay ka saari lahaayeen. Kala duwanaanshaha ogaanshaha soo noqnoqda sida NTK-aware scaling iyo YaRN ayaa sii socda: waxay cabbiraan soo noqnoqoshada hoose oo yar iyo soo noqnoqoshada sare oo badan (ama isku xidhka hirarka dhererka), ilaalinta tafaasiisha maxalliga ah ee soo noqnoqota sare iyada oo la kordhinayo soo noqnoqoshada hoose ee fogaanta fog.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka isdhexgalka booska ee fidinta macnaha
Kordhinta macnaha ayaa si degdeg ah u socota. Hababka ay ka midka yihiin NTK-aware RoPE scaling, YaRN, iyo dynamic/long-RoPE hadda waxay daaqadaha ku riixaan boqollaal kun ama xitaa malaayiin calaamado ah, marmarka qaarkood oo leh wax yar ama aan lahayn hagaajin. Filo in xeeladahan is-miidaaminta lagu daro feejignaan hufan iyo isku-buufinta KV-cache, iyo inay noqdaan buro-beelo caadi ah qaabaynta moodeelka. Cilmi-baadhistu waxay sii socotaa in saxnaanta sare loo sii hayo daaqadda oo dhan si markaa macnaha dheer loo isticmaalo si dhab ah, oo aan magac ahaan la taageerin.
Dhaqangelinta Adduunka-dhabta ah
Kordhinta qaabka 4K-tababaran ee LLAMA oo la gaarsiinayo 32K macnaha guud si loo soo koobo dukumeenti dheer ka dib hagaajin gaaban oo gaaban.
Ku rarida dhammaan koodbase ama qandaraas sharciyeed oo weyn hal degdeg ah oo loogu talagalay ka jawaabista su'aalaha faylka.
Isticmaalka NTK-aware ama cabirida YaRN si loo dheereeyo macnaha guud oo leh ugu yar ama aan lahayn tababar dheeraad ah.
U adeegida tariikhda wada sheekaysiga dheer iyada oo aan la jarin iyada oo dib loo habayn doono boosaska RoPE wakhtiga gorfaynta.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Position Interpolation for Context Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Kordhinta dhererka YaRN iyo macnaha guud
Su'aalaha soo noqnoqda
Waa maxay Position Interpolation for Context Extension?
Mawqifka Interpolation (PI) waa farsamo fidisa qaabka luqadda ee la adeegsan karo daaqada macnaha guud oo ka fog dhererkeeda tababarka iyadoo dib loo cabbirayo tusmooyinka booska halkii laga saari lahaa. Waxay u ogolaataa moodal lagu tababaray, dheh, 2K ama 4K calaamaduhu waxay qabtaan 32K ama ka badan oo leh hagaajin khafiif ah oo keliya.
Waa maxay fikradda udub-dhexaadka ah ee Boosition Interpolation?
PI waxay u qaybisaa tusmooyinka booska iyadoo loo eegayo qodobka fidinta, isaga oo u samaynaya isku xigxiga dheer ee kala duwan ee qaybinta qaabka hore loo bartay.
Nidaamkee meelaynta codaynta ee booska Interpolation ee ugu xidhiidhsan?
PI waxaa loo caan baxay moodooyinka ku saleysan RoPE, dib u habeynta xaglaha wareega si ay ugu sii jiraan soo noqnoqoshada tababaran.
Waa maxay sababta ka-baxsanaanta-naive-ka ee macnaha guud u janjeerto inay guul-darreysato?
Quudinta taxanaha dheer waxay soo bandhigtaa moodeelka xaglo ka baxsan oo aan waligiis lagu tababarin, taasoo keenaysa in fiiro gaar ah loo yeesho iyo waxqabadku si aad ah u hoos u dhaco.
Haddii la kordhinayo dhererka macnaha guud ee L ilaa L', waa maxay qodobka dib-u-cusboonaynta ee PI aasaasiga ahi ku dabaqi karo booska m?
Khariidadaha PI m ilaa m waxaa loo qaybiyaa qodobka s = L'/L, oo ku cadaadinaya tirada dheer ee dhexda tababaran ee asalka ah.
Sidee bay NTK-ka war-haynta iyo YaRN u wanaajiyaan Dhexdhexaadinta Booska cad?
Hababkani waxay si kala duwan u cabbiraan soo noqnoqoshada hoose iyo kuwa sareba, iyaga oo ilaalinaya tafaasiisha maxalli ah ee miyiga ah iyadoo weli la gaarayo duruufo dhaadheer.