Ci bi mu melGis bi ci topp
Modèlu attention bu néew
IA làkk
GUIDE teknik
Block-Sparse ak Natif Sparse
Block-sparse ak native sparse bàyyi xel ci transformateur yi ñu bàyyi xel ci wàll yi gëna am solo ci benn rang bu gudd ci barabu token bu nekk, dagg njëgu quadratic ci bàyyi xel ci standard.
Déglul tegtal biiIA-nettali · ~2 min
Ci xët wii2 simili jàng
Résumé
Loolu mooy tax model yu am contexte bu gudd di mëna jëfandikoo ci hardware dëgg.
Plongeur bu xóot
Standard self-attention dafay méngale bépp token ak bépp token, kon njëg bi dafay màgg quadratically ak guddaayi sekans, nekk luy tere këyitu dokimaa yu gudd lool. Li gëna néew luñu koy bàyyi xel mooy tënk token bu nekk ci ñeneen ñi. Xeetu bloc-sparse yi dañuy xaaj toppalante bi ci ay bloc, ba noppi di xayma bàyyi xel ci ñaari bloc yuñ tànn, te loolu dafay méngoo bu baax ak GPU tensor cores yi. Native Sparse Attention (NSA), bu bawoo ci DeepSeek, demna lu gëna sori: mën nañu ko tàggat ci njeexte ak jumtukaay, boole ñatti car, kompresioŋ token bu dëgër, tànneef bu dëgër ci blok yi gëna am solo, ak palanteer buy gliise ngir contexte lokal. Ndax motif sparsity bi ñu ngi ko jàngee ci diiru pretraining bi moo gën ñu ko boulé ci ganaw, NSA dafay baña yàq njubte bi muy joxe gaawaay yu mag ci toppalante yu gudd.
Doxal ci àdduna dëgg
Doxal benn model ci kaw codebase bi yépp wala kontraa legal bu gudd fu bàyyi xel bu mat sëkk di jeexal mémoire GPU bi.
DeepSeek's NSA dafay gaawlu tàggat yaram ak tegtal yu yàgg yi ci jamono jooju ñuy méngale wala di daan njubte gi mat sëkk.
Résumé dokimaa yu am guddaayu téere ci topp ay resumé yuñ komprime boole ci ay pàcc yu am solo ci gox bi.
Gaawaale assistant chat yu gudd yi seen jéego decodage tënku ci mémoire bi ci tënk token bu nekk ci bloc yu gëna kawe yi.
Ëlëgu Block-Sparse ak Native Sparse
Sparsity buñu mëna tàggat, hardware-aware mingi nekk yoon wi jëm ci contexte milioŋ-token te du yokk njëg. Xaarandil ñu bari ñuy bàyyi xel ci kernel yi ak accelerator yi, boole ci bàyyi xel ci ligneer ak xalaati espace-state, ñu jël ko ci xeetu frontiere yu gudd ak xalaat. Lu motif yi di gëna mëna jàng ak dinaamik, model yi dina ñu xaaj budget bi ci anam wu méngoo ak laaj bu nekk, ba noppi benchmark yi dina ñu gëna natt decodage bi ci toppalante yu gudd, du ci kalite bu ñor kese.
Teg ko ci jëf
Lu tax mu am solo
- Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
- dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
- Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.
Moytul
- Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
- Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
- Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.
Jéego yi ci topp
- Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
- Benchmark ci biir sargal ak done yu dëggu.
- Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
- Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the Block-Sparse and Native Sparse Attention quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Luy Block-Sparse ak Fàttaliku Sparse Natif?
Block-sparse ak native sparse bàyyi xel ci transformateur yi ñu bàyyi xel ci wàll yi gëna am solo ci benn rang bu gudd ci barabu token bu nekk, dagg njëgu quadratic ci bàyyi xel ci standard. Loolu mooy tax model yu am contexte bu gudd di mëna jëfandikoo ci hardware dëgg.
Lan moo waral seetlu sa bopp bu seer lool ci toppalante yu gudd?
Bépp token dafay jàppale beneen token bu nekk, kon calculer ak mémoire scale ak kaare guddaayi sequence bi.
Lan mooy xalaat bu mag bi ci bàyyi xel ci blok-sparse?
Sequence bi dañu ko xaaj ay bloc te bàyyi xel ci ñaari bloc yuñ tànn rek lañuy xayma, te loolu dafay méngoo bu baax ak GPU tensor cores yi.
Lan moo wuutale NSA ak xeetu paj yu bari yu njëkk ya?
NSA dafay jàng motif sparsity bi ci diiru pretraining te dañu ko jagleel ngir mu méngoo ak hardware bi, suko defee mu mëna wéy di daw bu gaaw.
Ban ñatti bànxaas la NSA boole ngir am caabi ak valeur?
NSA dafay boole compression token yu dëgër, tànneef block yu am pepp yu sew, ak palanteer buy gliise bu jëfandikoo buntu yiñ jàng.
Lan moo waral NSA di jëfandikoo ay operaasioŋ ci niveau block moo gën ñuy jëfandikoo ay sparsity ci niveau token?
Modèlu jëfandikoo ci niveau block méngoo na ak hardware GPU, kon sakkanal FLOP theorique dafay nekk gaawaayu montor mur.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii