Lu xew
Gëstukat yi dañu tànn DOW-KE, muy anam wu ñuy soppi xam-xam bi ñu jàngee ci benn model ci gëna mëna yeesali diisaay ci diisaay yu bari. Këyit dafay wax ci njariñ yu gëna am doole ci liñu jàngat ci li gëna bari ci model-dataset yiñ natt, waaye firnde yi ñu ngi bawoo ci benn arXiv dugal te taxul ñu defar seen bopp wala ñu yamale ko.
Boroom bi njëkk mooy benn dokimaa arXiv ngir "DOW-KE: Xam-xam bu bari bu amul benn ancre jaaraleko ci gëna xéewale diisaay bi", ñu joxe ko ci 5 ut 2026. Këyit dafa lim juróomi bindkat: Ran Chen, Junbo Zhang, Qian Xhang, Qian. Ñu ngi ko xaaj jàngu masin. Woykat bi dafa wane ni gëstukat yi dañuy propoze benn njuréef ak rapoor ci jàngat yi; mënul firndeel ni njuréef yi xoolaat nañu ko, ñu niroo ko ci boppam, wala ñu jëfandikoo ko ci sistemu jënd ak jaay wala sistemu ñépp bokk.
Këyit dafay wax ci soppali xam-xam bu bari, jafe-jafe gëstu bu ñuy soppi leeral yi ñu jàng ci benn model jaaraleko ci coppite yuñ teg ci ay parametre. Auteur yi neena ñu ni "locate-then-edit" yi fi nekk dañuy njëkka optimiser residual-stream activations yi ñuy woowe ancres, ci ay couche yuñ tànn. Ginaaw loolu ñu tekki mbir yooyu ci coppite diisaay couche par couche. Ci kontu këyit bi, lii dafay tàqale mébet bu digg bi ak coppite bu mujj bi model bi di jëfandikoo ci inference.
DOW-KE dafa tabax ci yoon wi bindkat yi wax ni li ñuy gëna defar dafa wara nekk li ñuy jëfandikoo. Duñu njëkka saafara ay mébetu aktivaasioŋ ba noppi ñu amal leen ci coppite yu wuute ci gox bi, anam wi dafay backpropagates mébetu soppali bu mujj bi ci model bi mat. Dafay boole coppite yi ci bépp couche buñ soppali, loolu mooy tax tasaaroo ak jaxasoo ci diggante couche yi ñu mëna am njeexital ci bépp jéego bu baax. Bokk na ci anam yi ñuy jaar ngir am projection ci biir parametrisation ak graphique computation bu yeesal, duñu def ay constraint ginaaw bi ñu defaree yeesal bi ba noppi.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Soppi xam-xamu benn model te doo tàggataat sistem bi yépp mën na am solo suñu wara seet, yeesal, wala dindi xibaar yi, fekk ñu ngi denc jeffin ju amul benn lëkkaloo. Li gëna am solo ci DOW-KE mooy gëna baaxal coppite yi ñuy jëfandikoo ci seen bopp, di saafara jafe-jafe bi bindkat yi ràññee ci njuréefi soppali yu bari yu njëkk.
Xeetu jëfandikoo gi ñu nara def mën na nekk lu am solo ci sistem yi soxla coppite ci xam-xam biñ tëral te duñu def benn tàggat bu mat sëkk, sudee doxalin bi ñu wax dafa weesu jàngat yiñ leeral ci abstract bi. Doxalinu optimisation direct mën na wàññi gap bi am ci digganté resultaa yi gëstukat yi di laaj ak coppite yi ci diisaay bi model bi di mujjee am. Loolu mën na yokk njubte gi ci yeesali bi, rawatina sudee ay layer yu bari dañu am njeexital ci benn génne gi. Waaye, source bi, wanewul ni liggéey bi di doxee ci àdduna dëgg, wala xayma jot gi, mémoire bi, wala calcul bi war.
Konservasioŋ mooy li am solo ci argumentu këyit bi. Soppi benn mbir wala jeffin mën na am njariñ sudee coppite bi yàqul xam-xam bu amul benn lëkkaloo te doo ko bëgg. Auteur yi neena ñu ni dugal ab projection de conservation ci biir paramétisation yeesal dafay tax optimisation bi sori ci xam-xam biñ aar te dafay tere post-hoc constraints yi ubbiwaat bërëb bi am ci digganté coppite yiñ bëgga amal ak yiñ def. Lii ab waxtaanu methodologique la, du firnde ni bépp xibaar buñ aar dafay wéy di am ci jëf.
Evaluation biñ def dafay jox këyit bi ab resultaa buñu wara topp. Ci coppite yu yaatu yu toppalante ci ñaari ensemble done ak ñetti xeetu, bindkat yi neena ñu DOW-KE amna poñ yi gëna rëy ci mboolem ak gëna am doole ci dëkkandoo yi ci juróomi ci jiroom benn xeetu done-done yi ci biir liggéey yiñ jàngat. Source bi joxewul poñ yi ci nimero yi, xammewul model yi wala ensemble done yi ci bind biñ joxe, leeral composition baseline bi, wala wane dayo bi ak wóortéef statistik bi ci njariñ li. Li ñu bàyyi xel mooy tënk li ñu mëna jàpp ci abstract bi kese.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
In AI, what are a model's "parameters"?
Li nga wara seetaan ci topp
Test bu am solo bi mooy ndax gëstukat yi moom seen bopp dañuy génne li ñu xamle ci bitti jiroom benn jekkal yiñ jàngat ci këyit bi. Li am solo buñu xamul mooy dàntite ak dayo model yi ak ensemble done yi, magnitude u yokkute yi, njëgu ordinatër bi, jafe-jafe yi, ak ndax coppite yi dina ñu wéy di wóor ginaaw coppite yu bari yu toppalante.
Replication moo wara njëkka am solo. Gëstukat yi dina ñu wara natt DOW-KE ci benn model ak ensemble done, ak benn xeetu soppali ak benn misaalu jàngat, balaa ñuy mëna jàppee njiit li ñu xamle ni robust. Liggéeyu topp-topp bu am njariñ itam dafay méngale njuréef yi ak njàngale yu bees yi, xool njariñ yi ci benn barab bimu jiitewul ci matuwaay yiñ wax, ba noppi wax ndax yokkute yi dañu méngoo ci yeneen xeeti coppite xam-xam. Baamtu dafa wara am itam wuute gi këyit bi def ci diggante Njortu gépp, Dekkandoo Specificity, ak laaj bu gëna yaatu ndax benn model tëye xam-xam bu amul benn lëkkaloo. Raporte njariñ yooyu ñoom ñaar dina tax ñu mëna tàqale njariñu référence ak njariñu soppali. Dina wane itam ndax prospekt bi ñuy wax dafay ànd ak tànneef yi jëm ci mébetu soppali bi, mébetu sàmm bi, wala ni ñuy boolee resultaa yi. Source biñ joxe tontuwul laaj yooyu.
Yaatuwaayu soppali toppalante ak yàggaay bi nekk na laaj bu ubbeeku. Woykat bi dafa wax ni jàngat bi dafa yaatu te dafay toppalante, waaye waxul ñaata coppite lañu def, naka lañu tànnee coppite yi, ba ñaata fan lañu wéy di dox, wala ndax coppite yi ci topp dañu jaxasoo ak yi njëkka am. Njàngat yi ci topp war nañu natt barab bi, yamale gi, mëna dellu ginaaw, ak coppite yiñ bëggul woon ginaaw coppite yu bari. Dañu wara xool itam ndax coppite bi dafay soppi tontu biñ bëggoon rek, wala dafay soppi xalaat, kàddu wala doxalin.
Laaj yi jëm ci jëfandikoo gi amul benn tontu. Source biñ joxe du joxe rapoor ci runtime, li hardware bi soxla, jëfandikoo mémoire, disponibilite implementation, wala kaaraange ngir tànn ban xam-xam lañuy aar. Du taxawal itam performance ci model yuñ moom, sistem multimodal, liggéey yu bari yi am ci liggéey bi, wala domen yu am solo. Bañu tontu laaj yooyu, ba noppi jàngat yu moom seen bopp xoolaat anam yi ñuy ñàkkee, DOW-KE dañu ko gëna xamee ni proposition gëstu bu am njariñ ak njariñu benchmark buñ xamle, nekkul ab pexe général buñ gëm ngir yeesal sistem IA yi ci anam wu wóor.