LegközelebbKövetkező útmutató
Block-Sparse és Native Sparse Attention
Műszaki
Nyelvi AI ÚTMUTATÓ
A ritka figyelem olcsóbbá teszi a Transformers-t, mivel az egyes tokenek csak a többi tokenek egy gondosan kiválasztott részhalmazát kezelik, nem pedig az összeset.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez egy kis globális elérést vált ki jelentős memória- és hosszú sorozatok megtakarítására.
A teljes önfigyelem minden tokent minden más tokenhez hasonlít, így a költség a sorozat hosszának négyzetével nő, ami fájdalmassá válik a hosszú dokumentumok esetében. A gyér figyelem a sűrű mintát strukturáltra cseréli. A gyakori tervek közé tartozik a csúszóablak (helyi) figyelem, ahol minden token csak a közeli szomszédokat látja; lépcsőzetes vagy tágított minták, amelyek előrelépnek, hogy olcsón elérjék a távoli kontextust; és globális tokenek, néhány speciális pozíció, amelyek mindenre kiterjednek, és amelyekre minden gondoskodik, információs központként működve. Az olyan modellek, mint a Longformer, a BigBird és a Sparse Transformer kombinálják ezeket, így a kapcsolatok teljes száma nagyjából lineárisan növekszik a négyzetes helyett, lehetővé téve a több ezer-tízezer tokenek kontextusát.
A Longformer teljes tudományos dolgozatokat vagy jogi dokumentumokat dolgoz fel egy menetben, csúszóablak és globális figyelem segítségével
A BigBird hosszú dokumentum-kérdések megválaszolása és genomikai szekvenciák kezelése lineáris skálázással
Könyvnyi szöveg összegzése, ahol a teljes figyelem kimerítené a GPU memóriáját
Visszakereső és hosszú kontextusú csevegőrendszerek, amelyek globális hub tokeneket használnak a kulcsfontosságú információk több ezer tokenek között történő irányítására
A ritka figyelem továbbra is központi szerepet játszik a hosszú kontextusú modellezésben, egyre inkább párosul az olyan optimalizált kernelekkel, mint a FlashAttention, valamint a tanult vagy dinamikus ritkasággal, amely bemenetenként kiválasztja, hogy mely tokeneket kell figyelembe venni. Ahogy a kontextusablak több millió tokenek felé nyúlik, a hibrid veremek ritka, sűrű és állapottér rétegeket kevernek. A hardvertudatos ritka kernelekre és az útválasztáson alapuló figyelemre kell számítani, hogy folyamatosan csökkenjenek a nagyon hosszú bemenetek olvasásának költségei.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A ritka figyelem olcsóbbá teszi a Transformers-t, mivel az egyes tokenek csak a többi tokenek egy gondosan kiválasztott részhalmazát kezelik, nem pedig az összeset. Ezzel egy kis globális hozzáférést nagy memória-megtakarításra és hosszú sorozatokon való számításra vált.
A teljes figyelem minden tokent összehasonlít minden más tokennel, így O(N négyzet) költséget ad az idő és a memória tekintetében.
A helyi figyelem az egyes tokenek nézetét a környező tokenek rögzített ablakára korlátozza, ami jelentősen csökkenti a költségeket.
Néhány globális token csatlakozik az összes pozícióhoz, lehetővé téve az információ olcsó áramlását a teljes sorozatban.
A BigBird megmutatta, hogy ritka mintája a szekvenciafüggvények univerzális közelítője, miközben nagyjából lineárisan skáláz.
A kapcsolatoknak a helyi ablakokra való korlátozásával és néhány globális hivatkozással az összes kapcsolat körülbelül lineárisan nő.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Block-Sparse és Native Sparse Attention
Műszaki