Lu xew
Benn jàngat bu bees bu arXiv dafay saytu ndax xeetu fondasioŋ yi lalu ci làkk mën nañu wecci architecture yuñ tabax ngir jàng masin yuñ tabax ngir ay done yuñ jagleel. Auteur bi xoolaatna 159 këyit yuñ siiwal ci diggante 2016 ba 2026 ci jiroom ñeenti anam, ba noppi méngale njubte gi ñuy wax luy waaja am ak ni ñu mëna joxee ak xayma liggéey bu jëm ci liggéey.
Këyit dafay laaj ndax mën nañu wecci architecture yuñ defaree ay done yuñ yamale ak ay model yu lalu ci làkk. Dafay xaaj xeeti gis-gis yi fi nekk ci juróom ñatti regime yu ñuy wane, dalee ko ci sistem yu làkk kese ba ci architecture yu yam ci liggéey bi. Revue bi dafay wax ci njariñu liggéey bi ak baña yàq structure biy tax liggéey bi nekk ay laaj yu wuute. Kadre boobu dafay may këyit bi mu mëna wuutale génne gi ñuy gis ci model bi ak jumtukaay yi ci biir wala yu leer yi ñu jëfandikoo ngir defar ko. Dafay boole itam xeeti architecture yu wuute ci benn escale konseptuel te du leen wane ni sistem yu nuróo.
Sunu sukkandikoo ci këyit wi, xeetu lakk-mediated yi dañu am taxawaayu joŋante bu rëy ci jekkal yu bari: wax luy waaja am lu néew lool, liggéey symbolik yu diskret, graf xam-xam buñ bind ak tàggat bu yaatu ci benn anam. Resultaa yooyu dañuy jàppale ab conclusion bu gëna gàtt te baña wuutu général. Benn model mën na joxe xam-xam bu jaar yoon ci benn barab te du wane diggante yi, geometri wala yeneen jumtukaay yu benn sistem buñ tànn di jëfandikoo ci anam wu leer. Kon jàngat bi dafay tàqale anam yi làkk wi di interface bu baax ak anam yi làkk wi doy ngir nekk représentation informatique bu nekk ci suufa suuf. Taxawaay boobu mooy gëna am solo ngir mëna tekki liñ tànn.
Revue bi dafa wane ni, suñu jàngat directement représentation structurelle wala calcul, gisu ñu benn firnde buy wane ni architecture bi dafay wuutu. Ci biir mbootaayi gëstukat yi, këyit dafa wane anam wuy baaxoo am: su làkk kese doyul, gëstukat yi dañuy yokk jëmmal ci module graphique, jeton structurel, attention specialisée wala leneen lu bokkul ak linguistic. Bokk na ci këyitu arXiv bu am 41 xët, benn bindkat, ñu joxe ko ci 29 ut 2026, te joxeewul sistem bu bees buy jàngat boppam. Kon li muy jàppale mooy amal ak joxe leeral ci liggéey yi njëkka am, boole ci wuutale làkk wi kese, xeetu liggéey bu boole ak liggéey bu yam ci liggéey bi. Argument bi mingi aju ci synthese cross-papier bi, du ci benn ensemble done wala buñ dajale.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Xoolaat bi dafay xeex nettali bu yomb buy wuutu. Li muy wax mooy specialisation dafay faral di toxu ci biir wala ci wetu sistem modelu fondation moo gën ñu ni mes. Taxawaay boobu dafa am solo ci gëstukat yi ak mbootaay yiy jël dogal ndax xeetu liggéey bu ñépp mëna jëfandikoo mën na def ay liggéey yuñ yamale ci anam wu wóor wala bu baax.
Li muy tekki ci jëf mooy poñ yiñ am ci wàllu njub kese mën nañu joxe leeral yu mat sëkk ndax xeetu fondasioŋ bi méngoo na ak liggéey buñ yamale. Sistem bu sukkandiko ci làkk mën na nuru luy joŋante ci wàllu metrik génne, fekk mingi wéeru ci misaal yu jaarul yoon yu gëna néew leer, gëna néew njariñ wala gëna néew wóor ci diggante yiy jiite liggéey bi. Xoolaat bi dafa wax ni jàngat yi dañu wara saytu jumtukaay bi ci boppam sudee jumtukaay boobu mooy gëna am solo ci liggéey bi. Loolu mooy gëna yombal xam ndax poñ yu am doole yi dañuy wane ni ñuy jëfandikoo bu baax seen diggante ak nit ñi, wala dañuy wane ni dañu am ndam ci benn natt. Dina wane itam ay kompromis yu resultaawu liggéey bu mujj bi mëna bàyyi ñu nëbb.
Synthese bu këyit bi dafa am solo ci dogal yi jëm ci jëmmal model. Ekip yiy tabax sistem ngir graphe, xalaat symbolik wala yeneen dugal yuñ yamale mën nañu gis ni modelu fondation amna njariñ ci benn composant, waaye ba leegi dañu soxla mecanisme yu leer ngir wane relation yi ak def calcul domaine-specific. Ci kontu bii, dañuy toxal spesialisasioŋ ci adaptatër yi, module yi, tokenization yi wala motif yi ñuy bàyyi xel, duñu ko dindi. Mën-mën googu dafay soppi ni ñu wara jàngatee ak boole xeetu liggéey bu ëpp solo: njariñam mën na joge ci liggéey ak benn lëf buñ jagleel moo gën ñuy wecci benn. Kon xoolaat bi dafay wane tànneefi architecture ni laaj fi ñu wara def structure ci sistem bi.
Resultaa bi dafay méngoo itam ak wax ji ñuy wax ni eskaal bi kese mooy tax model yu am njariñ yépp nekk ay weccitu universel. Xoolaat bi dafa wax ni lakk yi dañuy gëna mëna jëfandikoo scaling, waaye laaj bi mooy ndax scaling mën na dindi bërëb bi ci architecture yu xam structure yi, natt nañu ko. Ndax te balluwaay bi dafay xoolaat téere yi, du jàngat bu moom boppam, loolu taxul ñu wane ni sistem yu yam yi dina ñu gëna am njariñ saa yu nekk ci xeetu fondasioŋ yi, te mënul xayma njëg yi wala yaatuwaayu bépp bërëb bu des. Kon mujjentalam mooy artu ci dooley ñaxtu wuutu, du rang universel bu famiy royukaay yi. Jafe-jafe biñu baña saafara mooy ndax escalier bi ëlëg dina soppali diggante performance bu ëpp solo ak xayma structurel bu leer.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
Which component of an AI application is the machine-learning model itself?
Li nga wara seetaan ci topp
Këyit dafay xoolaat ak dajale ay xalaat, du benn bu bees wala jàngat buñ saytu. Konklusion bimu am mooy scaling mën na tëj bërëb bi ak sistem yu xam structure bi, te kenn xamul lumuy tekki. Liggéey bi ci kanam dina soxla méngale yu jub ci xalaati structurel, efficacité ordinateur, toxal, wóor ak njëg.
Jéego bi ci topp bi gëna am solo mooy jàngat jumtukaay bi ci saasi, te baña yam ci jàngat bu jaar yoon ci njeexte liggéey bi kese. Njàngat yi ci topp war nañu xool ndax model yi dañuy tëye seen diggante, ay tënk ci composition ak yeneen mbir yu jëm ci liggéey bi, ci noonu lañuy nattee xayma yi, li ñuy laaj ci done yi, latency ak jëfandikoo jumtukaay yi. Boroom bi joxeewul nattukaay yu bees yooyu, moo tax xamu ñu dayo pratik bi ñuy wax njariñ li. Liggéey bu mel nii dina lëkkale wuute gi am ci xalaatu xoolaat bi ak njariñu ingeñër ak gëstu yiñ mëna seetlu. Mën na wane itam ndax benn sistem bi dafay doxalee ci anam wu wuute suñu ko xoolee ci limu génne, ci limuy wane ak jumtukaay yiñ soxla ngir am leen.
Dina am solo itam ndax motif revue bi dafay tëye ci jiroom ñeenti anam yi ak ci jëmmal modelu fondation bu bees. Source bi dafa boole li ñu gis ci fukki at yu gëstu, waaye excerpt bi xammewul bépp modalité, këyit wala critère yuñ ci boole ci ay detay. Kon ñiy jàng dañu wara jàppee conclusion bi ni synthese bu mëna jiite gëstu bi, te bañ ko jàppee ni pronostic bu mujj ci bépp aplikaasioŋ bu am done yuñ defar. Tegtale yi dina ñu wara baña yàq wuute gi nekk ci diggante benn model buy joŋante ci benn xeetu tànneef ak benn model buy wecci architecture biy kode structure liggéey bi. Taxawaay boobu lu am solo la, rawatina sudee resultaa yi dañu bawoo ci mbootaayi gëstu yu wuute wala ci cosaani jàngat yu wuute.
Gëstukat yi ak ñiy dugal dañu wara xool bu baax ndax amna ñuy méngale sistem yu làkk kese, sistem ibrid ak architecture yu yam ci seen bopp. Firnde yu am njariñ ñooy jàngat ci bitti barab yi ñuy wax ni xeetu lakk yi ñuy mediate dañu am taxawaayu joŋante, natt coppite ci séddale ak njuumte ci jumtukaay, ak rapoor yu leer ci njëgu tàggat ak tegtal. Këyit dafay bàyyi ubbeeku ndax xeetu model yu gëna mag mën nañu mujjee dindi soxla structure bu leer, def loolu nekk laaj gëstu buñu tontuwul te baña tontu ci resultaa. Firnde yi bawoo ci méngale yooyu dina tax ñu xam ndax specialisation amul njariñ dëgg wala dafa toxu ci beneen wàll ci sistem bi. Ba foofu, jàngat bi dafay jàppale test bu jaar yoon ci xalaati architecture yi, du tënk bu yaatu ni benn jëmmal moo wecci yeneen yi.