LegközelebbKövetkező útmutató
Ritka figyelemminta
Nyelvi AI
Műszaki ÚTMUTATÓ
A blokkszegény és a natív ritka figyelem lehetővé teszi, hogy a transzformátorok minden token helyett csak egy hosszú sorozat legrelevánsabb darabjaira figyeljenek, csökkentve a normál figyelem négyzetes költségét.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
This is what makes efficient long-context models practical on real hardware.
A szabványos önfigyelem minden tokent minden más tokenhez hasonlít, így a költségek négyzetesen nőnek a sorozat hosszával, ami megfizethetetlenné válik a nagyon hosszú dokumentumok esetében. A ritka figyelem az egyes tokeneket mások egy részhalmazára korlátozza. A blokkszegény megközelítések a sorozatot blokkokra osztják, és csak a kiválasztott blokkpárokra számítják ki a figyelmet, amelyek hatékonyan leképeznek a GPU tenzormagokra. A DeepSeektől származó Native Sparse Attention (NSA) tovább megy: végponttól végpontig betanítható és hardverhez igazított, három ágat, durvaszemcsés tokentömörítést, a legfontosabb blokkok finomszemcsés kiválasztását és egy csúszó ablakot kombinál a helyi kontextushoz. Mivel a ritkaságmintát az előképzés során tanulják meg, nem pedig utána rögzítik, az NSA megőrzi a pontosságot, miközben nagy sebességfokozatot ad a hosszú sorozatoknál.
Egy modell futtatása egy teljes kódbázison vagy hosszú jogi szerződésen keresztül, ahol a teljes figyelem kimerítené a GPU memóriáját.
A DeepSeek NSA-ja felgyorsítja mind az előképzést, mind a hosszú kontextusból származó következtetést, miközben megfelelteti vagy felülmúlja a teljes figyelem pontosságát.
Könyvhosszúságú dokumentumok összefoglalása tömörített blokk-összefoglalók és helyileg releváns szövegrészek figyelembevételével.
A hosszú kontextusú csevegési asszisztensek felgyorsítása, akiknek a dekódolási lépése memóriához van kötve azáltal, hogy az egyes tokeneket a legmagasabb rangú blokkra korlátozzák.
A tanítható, hardver-tudatos ritkaság a milliós kontextushoz vezető út lesz, robbanásszerű költségek nélkül. Várható, hogy a kernelekkel és a gyorsítókkal együtt tervezve, lineáris figyelem és állapottér ötletekkel vegyítve, és a határterület hosszú kontextus- és érvelési modelljeibe alkalmazzák, kevés figyelmet kell fordítani. Ahogy a minták megtanulhatóvá és dinamikussá válnak, a modellek lekérdezésenként adaptívan osztják fel a figyelem-költségvetést, és a benchmarkok egyre inkább mérik a dekódolási átviteli sebességet hosszú sorozatokon, nem csak a nyers minőséget.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A blokkszegény és a natív ritka figyelem lehetővé teszi, hogy a transzformátorok minden token helyett csak egy hosszú sorozat legrelevánsabb darabjaira figyeljenek, csökkentve a normál figyelem négyzetes költségét. Ez teszi praktikussá a hatékony, hosszú kontextusú modelleket valódi hardveren.
Minden jogkivonat minden más tokenhez tartozik, ezért a szekvencia hosszának négyzetével számítsa ki és skálázza a memóriát.
A sorozatot blokkokra osztják, és csak a kiválasztott blokkpárokra számítják a figyelmet, amelyek szintén jól illeszkednek a GPU tenzormagokra.
Az NSA az előképzés során tanulja meg a ritkaságmintáját, és úgy tervezték, hogy igazodjon a hardverhez, így megőrzi a pontosságot gyors futás közben.
Az NSA megtanult kapuk segítségével egyesíti a durva token tömörítést, a finomszemcsés blokkok kiválasztását és a helyi csúszóablakot.
A blokkszintű hozzáférési minták illeszkednek a GPU-hardverhez, így az elméleti FLOP-megtakarítások tényleges falióra-gyorsításokká válnak.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ritka figyelemminta
Nyelvi AI