Maxaa dhacay
Koox cilmi baaris ah ayaa soo bandhigtay SHIFT-LLM, oo ah qaab-dhismeed sixid bilaash ah oo loogu talagalay moodooyinka luqadaha waaweyn kuwaas oo blocks-ka Transformer laga saaray si loo dhimo kharashyada ka-fiirsashada. Habka waxa uu geliyaa Adapter-ka toosan ee goob kasta oo manjooyin ah waxana uu ku cabbiraa qaab-xiran oo dib-u-celinta ugu yar ee afar geesoodka ah iyada oo la adeegsanayo xog-ururin yar oo bannaan. Waraaqdu waxay ka warbixisaa qiimaynta shanta qoys ee moodeelka ah, lix shuruudood oo lakab-doorasho ah iyo todoba bartilmaameedyo eber ah, oo leh soo kabasho sax ah inta badan qaabaynta la tijaabiyay.
Warqaddu waxay qeexaysaa manjooyin qoto dheer sidii hab lagu dhimi lahaa qiimaha goynta ee moodooyinka luqadaha waaweyn iyadoo meesha laga saarayo dhammaan blocks Transformer. Sida laga soo xigtay qorayaashu, tani waxay abuurtaa isbeddel qaybin: dawladaha qarsoon ee la soo saaray ka dib markii la saaray xannibaadda mar dambe uma dhigma qaybinta laga filayo lakabyada hoose. Is-waafajin la'aanta ka dhalata waxay sababi kartaa luminta saxda ah ee la taaban karo inkasta oo qaabka hadhay uu weli ka kooban yahay inta badan qaab-dhismeedkiisii asalka ahaa. SHIFT-LLM waxaa loo soo bandhigay qaab sixitaan ah oo loogu talagalay dhibaatadan gaarka ah, samaynta isdhexgalka ka dhexeeya saarista lakabka iyo habdhaqanka qaabka hoose ee mawduuca shaqada.
Qaybta la soo jeediyay waa Adabter Hadhaaga toosan, ama LRA, oo la dhigo meel kasta oo baloog lagu gooyay. Adapter-ku wuxuu ilaaliyaa dariiqa aqoonsiga ee xannibaadda asalka ah wuxuuna ku darayaa sixitaanka haraaga affin miisaan yar. Qorayaashu waxay yiraahdeen sixitaan waxaa lagu rakibay qaab-xiran oo dib-u-celinta ugu yaraan-squares ah oo ku yaal jaan-qaadid yar oo xiran. Uma baahna xisaabinta gradient. Sharaxaadda warqadda, LRA waxaa loogu talagalay in lagu qiyaaso cusboonaysiinta hadhaaga ah ee ay soo saari lahayd baloogga la saaray, iyada oo laga fogaanayo dareenka iyo xisaabinta quudinta-horumarineed ee la xidhiidha xannibaaddaas.
Isha ayaa sheegaysa in habkan lagu tijaabiyay shan qoys oo moodel ah, lix shuruudood oo lagu dooranayo lakabyada meesha laga saarayo iyo todobadabeeg eber. Waxay leedahay SHIFT-LLM si joogto ah u soo kabsaday saxnaanta lumay iyada oo si qoto dheer manjooyin ah inta badan qaabeynta, oo leh horumarinta ugu badan ee 15.7 boqolkiiba dhibcood Llama-3.1-8B-Instruct. Isha ma bixiso magacyada bar-tilmaameedka, buundooyinka gundhigga, saamiga manjyada, cabbirada qalabka ama natiijooyinka nooc kasta ee qoraalka la keenay. Sidoo kale ma sheegayso in habka si madaxbanaan loo soo saaray ama lagu daray badeecad ganacsi.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Ka saarista lakabyada oo dhan waxay hoos u dhigi kartaa kharashka socodsiinta LLM laakiin sidoo kale waxay carqaladayn kartaa matalaadda gudaha ee la filayo lakabyada dambe. SHIFT-LLM waxaa loogu talagalay inay wax ka qabato ganacsigaas oo leh sixid fudud halkii ay dib u soo celin lahayd dareenka la saaray iyo xisaabinta quudinta. Haddii natiijooyinka la soo sheegay la soo koobo, habku wuxuu ka dhigi karaa moodooyinka luqadda la isku riixay mid aad waxtar u leh halkaasoo qiimaha wax-sheegga, xusuusta ama daahitaanka ay xaddidan yihiin.
Arrinka la taaban karo ee uu xaashigu ka hadlay ayaa ah ganacsi ciriiri ah oo la yaqaan: qaab ka yar ama gaagaaban ayaa laga yaabaa inuu ka jaban yahay in la ordo, laakiin saxnaantiisa ayaa dhici karta sababtoo ah saarista lakabyada ayaa beddeleysa calaamadaha gudaha ee dhex mara shabakadda. Wax ku biirinta warqadu waa in si toos ah loo beegsado habkaas guuldarada halkii lagu daweyn lahaa qaabka la jarjaray sida nooc yar oo caadi ah. Tani waxay khusaysaa sababtoo ah kharashka ka-fiirsashadu ma saamaynayo oo keliya tirinta cabbirka, laakiin sidoo kale qaddarka dareenka iyo xisaabinta quudinta-hor-u-marinta ee lagu sameeyay qayb kasta.
SHIFT-LLM's nidaamka is-xakamaynta la sheegay waa mid faa'iido leh sababtoo ah kuma xirna dib u dhiska ku salaysan gradient. Qorayaashu waxay yiraahdeen dhowr boqol oo muunado cabbir ah ayaa loo baahan yahay iyo in adapters-yada lagu rakibi karo dib-u-celin qaabaysan. Taasi waxay yarayn kartaa xogta, xusuusta iyo culayska injineernimada ee la xidhiidha soo kabashada tayada manjooyin ka dib. Soo jeedinta wax-soo-saarka darajada hoose iyo isku-dhafka saxda ah ee lakabyada la jarjaray ee isku xiga ayaa sidoo kale loo soo bandhigay siyaabaha lagu dari karo cadaadis dheeraad ah. Kuwani waa sheegashooyin ku saabsan qaabaynta habka iyo tijaabooyinka la soo sheegay, ma aha caddaynta in hawlgelin kasta ay gaari doonto kayd isku mid ah.
Shaqadu waxay kaloo iftiiminaysaa sababta isku-ururinta moodelku aan loo qiimayn karin oo keliya iyadoo la tirinayo cabbirrada ama lakabyada la saaray. Qaabka la jarjaray ayaa laga yaabaa inuu qaab dhismeed ahaan ka yaraado isagoo wali la ildaran isqabqabsi la'aanta qaybinta gudaha ee saameeya tayada wax soo saarka. Haddii soo kabashada la soo sheegay ay adag tahay, lakabyada sixitaanka miisaanka fudud ayaa siin kara horumariyeyaasha ikhtiyaar kale oo u dhexeeya socodsiinta qaab buuxa iyo aqbalida luminta saxda ah ee manjyada gardarrada ah. Muhiimadda dadwaynaha ayaa weli ah mid xaddidan, si kastaba ha ahaatee: isha la keenay ma xisaabinayso isticmaalka tamarta, u adeegida kharashka, daahitaanka dhamaadka-ilaa-dhamaadka ama waxqabadka codsiyada saamiga sare leh.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Su'aalaha ugu muhiimsan ee furan waa sida habka uu u shaqeeyo si ka baxsan bartilmaameedyada la soo sheegay, intee in le'eg oo xogta cabbirka iyo xisaabinta lagu daray ayaa looga baahan yahay ficil ahaan, iyo haddii faa'iidooyinkeedu ay ku sii jiraan hawlaha, luqadaha iyo goobaha la geeyo. Isha ayaa ah daabacaadda arXiv mana dejiso ku celcelin madax banaan, helitaan wax soo saar, natiijooyin daahitaan oo faahfaahsan ama xaaladaha tijaabada ah ee buuxa ee ka dambeeya faa'iidada ugu badan ee la sheegay.
Arrinta ugu horreysa ee la daawado waa taransiinta. Isha ayaa u aqoonsan warqadda nooc ka mid ah soo gudbinta arXiv oo koobaysa natiijadeeda, laakiin qoraalka la keenay kuma jiro shaxanka hoose, daraasaadka ciribtirka ama faahfaahinta fulinta. Tijaabooyin madaxbannaan ayaa u baahan doona in la baaro in guulaha la soo sheegay ay ku hoos jiraan boqolleyda manjooyin kala duwan, cabbirro kala duwan oo la isku hagaajiyay iyo xulashooyin kala duwan oo lakabyada la saarayo. Waxay sidoo kale u baahan doonaan inay isbarbardhigaan SHIFT-LLM dib-u-tababaraynta, dib-u-habaynta, hagaajinta caadiga ah iyo hababka kale ee isku-buufinta ee hoos yimaada xisaabinta miisaaniyada joogtada ah.
Cabbirrada geynta ayaa noqon doona muhiim. Wargeysku wuxuu leeyahay LRA-yadu waxay ka fogaadaan feejignaanta qaaliga ah iyo xisaabinta quudinta-horumarineed ee blocks-ka la saaray waxayna taageeraan wax-soo-saarka darajada hoose iyo isku-dhafka, laakiin isha ma sheegto daahitaanka dhabta ah, isticmaalka xusuusta, soo-saarka ama natiijooyinka qalabka. Adabiyeyaasha lagu daray ayaa laga yaabaa inay yeeshaan saameyno kala duwan iyadoo ku xiran qaab-dhismeedka soo-jeedinta iyo haddii hawlgallo xiriir ah la isku dari karo. Qiimaynta wax ku oolka ahi waa in ay sidaas darteed cabbirtaa wadarta kharashka adeega, ma aha oo kaliya soo kabashada saxnaanta ama tirada cabbirrada laga saaray.
Baaxadda guud ahaaneed waa mid kale oo aan la garanayn. Qiimaynta la soo sheegay waxay dabooshaa shan qoys oo moodal ah iyo todobo bartilmaameed oo eber ah, laakiin qoraalka la soo bandhigay ma tilmaamayo hawlaha, luqadaha, cabbirada moodeelka ee ka baxsan magaca Llama-3.1-8B-natiijooyinka tilmaamaha, ama habdhaqanka habka tilmaamaha raacaya, isticmaalka muddada-dheer, koodh ama qiimaynta badbaadada. Isha sidoo kale ma caddaynayso in xogta is-habaynta ay tahay inay u ekaato agabka geynta. Waraaqaha mustaqbalka ama koodka la sii daayay ayaa caddayn kara xaddidaadyadan oo muujinaya in habkani yahay mid faa'iido leh ama inta badan waxtar u leh naqshadaha gaarka ah iyo qaababka manjooyinka.