Ci bi mu melGis bi ci topp
Aggrégation njaxasu Agent
IA làkk
Làkk AI GUIDE
Njaxasu xóotaayu
Njaxasu xóotaayu (MoD) dafay may transformatër bi mu jëfandikoo ay lim yu wuute ci ay jeton yu wuute, di yóbbu jeton yu 'am solo' yi ci xayma yu diis yi ci layer bu nekk.
Déglul tegtal biiIA-nettali · ~2 min
Ci xët wii2 simili jàng
Résumé
Dafay wàññi njëgu liggéey token yu yomb yi boole ci tëye budget ordinatër buñ mëna seentu.
Plongeur bu xóot
Transformatër yiñ miin dañuy jëfandikoo bepp couche ci bepp token, ba ci yu tuuti yu melni ponctuation. Njaxasu xóotaayu, bi Google DeepMind dugal ci 2024, dafay yokk benn routeur bu ndaw ci blok bu nekk buy tànn benn fraction top-k bu fixe ci token yi ngir mëna def seen xel ci seen bopp ak xayma MLP; ñi ci des dañuy romb blok bi jaaraleko ci lëkkalekaay bu des. Ndax k jetons kese lañuy liggéey ci layer bu nekk, total compute (FLOPs) dañu koy tënk te xam ko lu jiitu, wuute na ak pexe yu njëkk ya dynamic-depth yu wuute ci anam wu ñu mënul xam. Loolu mooy tax batching bi ak jëfandikoo hardware bi gëna am njariñ. Mod-trained models mën nañu méngoo ak kalite transformateur baseline jëfandikoo FLOPs yu néew ci pass forward bu nekk, wala yegg ci kalite bu gëna kawe ci benn ordinatër, te xalaat bi dafay boole ci boppam ak Mixture-of-Experts ngir joxe 'MoDE' models yiy jaar ci xóotaayu ak yaatuwaay.
Doxal ci àdduna dëgg
Wàññi FLOPs yiñ soxla ngir liggéey ci këyitu gudd yi ci sànni xayma yu xóot yi ci token yu fees
Taggat xeetu liggéey bu méngoo ak kalite bu njëkk bi ci ordinatër bu woyof, wàññi njëgu liggéey bi
boole ak njaxasu-ekspert (MoDE) ngir jaar ci xóotaayu couche ak tànneef eksper
Fexe bañu mëna seentu, latency bu takku ci jeton bu nekk ndax budget bi ci layer bu nekk dañu ko tëral bu njëkk
Ëlëgu njaxasu xóotaayu
calcul conditionnel levier bu mag la ci efficacité ni model scale, te MoD misaal la bu teel, sell. Xaarandi lëkkaloo bu gëna xóot ak Mixture-of-Experts (routing ci xóotaayu ak eksper yi), budget yiy méngoo ak li ñuy gëna xëcc ngir dugal ay done yu yomb, ak routeurs yu jàng yu gëna mëna xàmmee ban token moo soxla liggéey bu xóot. Ginaaw njëgu inference mooy ëpp doole ci koom-koomu jëfandikoo gi, pexe yiy may model yi ñu 'gëna xalaat' ci barab yiñ soxla, boole ci tëye latency buñ mëna seentu, mën nañu nekk standard ci architecture yu mag yi.
Teg ko ci jëf
Lu tax mu am solo
- Gaawaay ak yaatuwaay. Liggéeyukaay yi ci làkk yi mën nañu gëna gaaw te duñu yàq deggoo gi.
- Dugg ak yegg. Dafay yaatal jëfandikoo gi ci làkk yi ak ci anam yi ñuy jokkoo.
- dogal yu gëna leer. Ekip yi mën nañu gëna yàgg ci àtte ci jamono ji otomatisation di liggéey ci baamtu.
Moytul
- Lépp lu jaarul yoon mën na dugg ci rapoor yi, jàppale ci liggéey bi, wala ci njariñu gëstu bi.
- Sensibilite bu gaaw mën na jur njariñ yu wuute ci laajte yu noonu mel.
- Done yu am solo mën nañu feeñ sudee seytu jëfandikoo gi néew doole.
Jéego yi ci topp
- Mandargal formaa génne gi, melokaan bi, ak standard kalite yi laata ngay dugal ko.
- Tontu yu am solo ak balluwaay yu wóor saa yu dëggu bi di am solo.
- Fexeel am barabu xool nit ñi ngir am njariñ yu am solo.
- Toppal anami gacce yi ak di faral di tàggataat ay laaj wala def-liggéey.
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the Mixture of Depths quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Luy njaxasu xóotaayu?
Njaxasu xóotaayu (MoD) dafay may transformatër bi mu jëfandikoo ay lim yu wuute ci ay jeton yu wuute, di yóbbu jeton yu 'am solo' yi ci xayma yu diis yi ci layer bu nekk. Dafay wàññi njëgu liggéey token yu yomb yi boole ci tëye budget ordinatër buñ mëna seentu.
Lan mooy wuute ci njaxasu xóotaayu jeton yi?
MoD yenn jetons rek lay jaar ci calcul bu diis bu layer bu nekk, kon jetons yu wuute yi dañuy am xóotaayu wuute.
naka la ko MoD di def ngir mëna xam bu baax budget bi?
Tann top-k bu fixe ci jetons ci block bu nekk dafay tëj FLOPs te dafay tëye forme tensor yi, te loolu lu baax la ci hardware bi.
Lan mooy dall token yi routeur bi tannul ci benn block buñ jox?
Jeton yiñ tannul dañuy romb xayma blok bi ba noppi ñu yóbbu leen kanam te duñu soppiku ci yoon wi des.
Ban labo moo siiwal pexem njaxasu xóotaayu?
DeepMind moo dugal njaxasu xóotaayu mbir yi ci benn téere ci atum 2024 buy wax ci xayma transformatër buy soppiku.
Lan mooy jur boole MoD ak njaxasu-ekspert yi?
Njaxas xóotaayu yoon wi ak yoon wu xarañ yi dafay jur xeetu 'MoDE' yuy indi xayma ci diisaay yi ak xarañ yi yépp.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii