Maxaa dhacay
Warqad loo gudbiyay arXiv Agoosto 25 waxay soo jeedinaysaa REP-LIE, habka manjooyin ee moodooyinka luqadda ku salaysan . Waxay ku qiyaastay muhiimada halbeegyada jaangooyooyinka LoRA halkii ay ka xisaabin lahaayeen jaangooyooyinka moodeelka buuxa, waxay ku daraysaa dhibcaha xasiloonida si loo yareeyo randomnimada qiyaasahaas, waxayna si isdaba joog ah meesha uga saartaa cabirrada lagu xukumay inaysan muhiim ahayn. Qorayaashu waxay ka warbixiyaan natiijooyin tartan ah oo ku saabsan moodooyinka koodhka cabbirka dhexdhexaadka ah iyo 7-bilyan-beeg LLAMA iyo moodooyinka wax-soo-saarka ee Mistral.
Isha ayaa ah diiwaanka arXiv ee warqad 15-bog ah oo la gudbiyay Agoosto 25, 2026. Qorayaashu waxay tilmaamayaan bartilmaameedka sida qaababka luqadeed ee horay loo tababbaray ee lagu dhisay qaab-dhismeedka , kuwaas oo shuruudaha xisaabinta iyo xusuusta ay ka dhigi karaan hawlgelinta mid adag meelaha kheyraadka xaddidan. Waraaqdu waxay soo bandhigaysaa REP-LIE sidii hab loogu talagalay in lagu sameeyo manjooyin suurtagal ah inta lagu jiro hagaajinta hagaajinta halkii ay ka dambayn lahayd marxalad gaar ah, muhiimadda-khamriga ah ee kheyraadka. Tani waa soo jeedin cilmi baaris iyo warbixin tijaabo ah, ma aha ogeysiis ah in qaabka ganacsi ama hawlgelinta uu isbeddelay.
Sheegashada farsamada dhexe ayaa ah in REP-LIE ay qiyaasi karto muhiimada miisaanka moodeelka ee ka imanaya jaangooyooyinka la xidhiidha maaddooyinka darajada hoose ee LoRA. LoRA waa habka cusboonaysiinta wax ku oolka leh ee loo isticmaalo habka warqadda; Isha ayaa sheegaysa in jaangooyooyinkan darajada hoose ah loo isticmaalo halkii ay ka ahaan lahaayeen xisaabinta gradient buuxa. Qorayaashu waxay kaloo sheegeen in qiyaasaha muhimadu ay noqon karaan ran aan kala sooc lahayn ama aan degganayn, markaa REP-LIE waxay soo bandhigaysaa dhibcaha xasilloonida waxayna isticmaashaa dhibcahaas si ay u hagto ka saarista halbeegyada loo arko inaysan muhiim ahayn. Ka dib marka la gooyo, qaabka si fiican ayaa loo hagaajiyay iyadoo la cusbooneysiinayo cufnaanta halkii la hagaajin lahaa cabbir buuxa.
Abstract ayaa sheegaysa in habka lagu tijaabiyay labada nooc ee codeer-ka dhexdhexaadka ah iyo moodooyinka wax-soosaarka baaxadda leh, gaar ahaan magaca LLAMA-7B iyo Mistral-7B. Qorayaashu waxay tijaabadu ku tilmaamaan mid ballaadhan waxayna soo sheegaan in REP-LIE ay ku guulaysato waxqabad tartan ah marka la barbar dhigo hababka jira. Isha ma sheegayso hawlaha, xog-ururinta, xariiqyada gundhigga, heerarka manjyada, qalabka, runtime, cabbirada xusuusta, ama natiijooyinka waxqabadka saxda ah. Sidoo kale ma sheegayso in koodka, isbaarooyinka moodeelka, ama fulinta u jeedda isticmaale la sii daayay. Diiwaanku wuxuu taxayaa macaamilka IEEE ee la xidhiidha Mawduucyada Soo baxaya ee Tixraaca joornaalka Sirdoonka Xisaabinta, laakiin isha keliya ma dejiso heerka ama natiijada dib u eegista asaaga ee madaxa banaan.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Goyntu waxay ka dhigi kartaa qaababka luqadaha waaweyn si sahlan loo geeyo meelaha awoodda xisaabinta iyo xusuusta ay xaddidan tahay. Habka warqadu waa mid faa'iido leh sababtoo ah waxay isku daraysaa qiimaynta muhiimada iyo hagaajinta iyada oo aan loo baahnayn hagaajin buuxda. Si kastaba ha ahaatee, isha ma bixinayso kaydinta tirada, isbeddelada saxda ah, faahfaahinta hawsha, ama helitaanka hirgelinta loo baahan yahay si loo qiimeeyo sida ballaaran ee habka loo isticmaali karo.
Dhibaatada wax ku oolka ah ee uu ka hadlay warqaddu waa qiimaha la-qabsiga iyo dejinta qaababka luqadaha waaweyn. Haddii qaabka la dhimi karo cabbirkiisa iyadoo la ilaalinayo dabeecadda waxtarka leh, ururku wuxuu u baahan karaa xasuus yar ama xisaabin si uu ugu adeego. Socodka shaqada ee la soo jeediyay ee REP-LIE waa mid xusid mudan sababtoo ah waxay isku daydaa inay yarayso kharashka habka manjyada lafteeda: habku wuxuu ka fogaanayaa qiyaasta muhimada ku salaysan gradient buuxa wuxuuna isticmaalaa hagaajinta khafiifka ah ka dib marka cabbirada la saaro. Kuwani waa yoolalka naqshadeynta ee warqadda lagu sheegay, ee aan si madax bannaan loo xaqiijin natiijooyinka geynta.
Qaybta ugu danbaysa ee sheegashadu ma aha oo kaliya in halbeegyada la gooyn karo, laakiin in manjooyinka iyo la qabsiga laga yaabo in lagu fuliyo culayska kheyraadka hoose. Taasi waxay khusayn kartaa cilmi-baarayaasha, ururada yaryar, iyo codsiyada ku shaqeeya caqabadaha qalabka. Waxa kale oo ay saamayn kartaa sida horumariyayaasha moodeelku ay is barbar dhigaan xeeladaha isku-buufinta: habka ilaalinaya waxqabadka hawsha tartanka iyadoo u baahan tayayn yar ayaa beddeli karta is-dhaafsiga u dhexeeya tayada moodeelka, qiimaha horumarka, iyo suurtagalnimada hawlgelinta. Isha ma cadda in REP-LIE ay ku gaarto faa'iidooyinkaas wax soo saarka ama miisaan gaar ah.
Caddaynta ayaa weli xaddidan waxa ilaha laga helo. Warqaddu waxay soo tebisay tijaabooyin, laakiin aan la taaban karin ayaa sahayda isbarbardhigga tirooyin ah, sidaa darteed akhristayaasha ma go'aamin karaan cabbirka dhimista kheyraadka ama tayada la hayo ka dib manjooyinkooda. "Waxqabad tartan" waa tilmaame qaraabo ah oo macneheedu ku xiran yahay gundhigga, hawlaha, iyo cabbirada qiimaynta. Moodooyinka la magacaabay ee 7-bilyan ee cabbiraadaha ah waxay muujinayaan in habka aan lagu sifeyn oo keliya hababka ciyaaraha fudud, laakiin ma muujiyaan waxqabadka moodooyinka waaweyn, hababka multimodal, moodooyinka lahaanshaha, ama culeyska shaqada. Natiijadu sidaas darteed waa horumar cilmi-baaris oo faa'iido leh oo suurtagal ah halkii laga heli lahaa caddaynta xallinta guud ee hawlgelinta AI ee hufan.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Tijaabooyin muhiim ah ayaa ah in REP-LIE ay bixiso xusuusta joogtada ah iyo xisaabinta dhimista, intee in le'eg ayay tayada moodalku isbeddelayaan heerarka manjooyinkooda kala duwan, iyo haddii dhibcaha xasilloonida ay ka shaqeeyaan dhismayaasha iyo hawlaha. Ku-noqoshada madax-bannaanidu waa inay baartaa cod-bixiyaha la soo sheegay, LLMA-7B, iyo natiijooyinka Mistral-7B, barbar dhig hababka manjooyinka la aasaasay ee hoos yimaada miisaaniyada kheyraadka siman, iyo in la go'aamiyo in habkani uu yahay mid waxtar leh oo ka baxsan tijaabooyinka lagu sharraxay abstract.
Su'aasha ugu horeysa ee dabagalku waa tiro: imisa halbeeg ayaa REP-LIE ka saaraysaa, maxayse yihiin isbeddelada ka dhalanaya isticmaalka xusuusta, kharashka ka-fiirsashada, wakhtiga tababarka, iyo wax-soo-saarka? Cabiraadahaas waa in lagu soo wargeliyaa dhowr heerar manjooyin ah iyo marka la barbardhigo qalabka iyo xaaladaha software. Waxa kale oo muhiim ah in la kala saaro kharashka soo saarista qaabka la jarjaray iyo kharashka u adeegista. Habka ayaa yarayn kara raadraaca moodeelka ugu dambeeya iyadoo weli u baahan diyaargarow la taaban karo, oo aan la taaban karina ma bixinayso macluumaad ku filan oo lagu qiimeeyo ganacsigaas.
Su'aasha labaad waa tayada iyo adkaanta. Baadhitaanka mustaqbalka waa in uu baaro in dhibcaha xasiloonidu ay si joogto ah u aqoonsanayso cabirrada ka saaristoodu ay saamayn kooban leedahay, ama haddii faa'iidadooda ay ku xidhan tahay qaab-dhismeedyo gaar ah, hawlo, abuur random, ama hagaajinta hagaajinta. Isbarbardhigga waa in lagu daro hababka jira ee uu tixraacay warqadu waana in ay isticmaalaan xisaabinta iyo miisaaniyada xusuusta siman. Natiijooyinka ku dhejiyaha la magacaabay, LLAMA-7B, iyo Mistral-7B tijaabooyinku waxay noqon doonaan macluumaad dheeraad ah haddii ay la socdaan buundooyinka heerka shaqada, falanqaynta khaladka, iyo cabbiraadaha sida waxqabadku isu beddelo marka manjooyinku noqdo mid dagaal badan.
Su'aasha saddexaad waa baaxadda. Isha ma sheegan in REP-LIE ay taageerto moodooyinka ka baxsan qoysaska la tijaabiyay, haddii ay ilaalinayso awoodaha gaarka ah, ama haddii lagu dhex dari karo tababarada iyo nidaamyada adeegga. Koodhka iyo isbaarooyinka ayaa fududayn lahaa ku celcelinta, laakiin helitaankooda lama oga diiwaanka. Waraaqdu sidoo kale waa daabacaad arXiv ah oo leh tixraac joornaal oo taxan; isha ma dejiso ansaxinta madax-banaan ee ka baxsan tijaabooyinka qorayaasha. Ilaa faahfaahintaas laga helayo, gabagabada ku habboon ayaa ah in REP-LIE ay bixiso soo jeedin la taaban karo, soo jeedin manjooyin kheyraad ku baraarugsan oo leh isbarbardhig rajo leh oo la soo sheegay, iyada oo guud ahaan iyo kaydka dhabta ah ee adduunka weli aan la xallin.