DalšíDalší průvodce
Block-Sparse a Native Sparse Attention
Technický
Jazyk AI GUIDE
Díky řídké pozornosti jsou Transformers levnější tím, že každý token nechá věnovat pozornost pouze pečlivě vybrané podmnožině jiných tokenů, nikoli všem.
Poslechněte si tento návodAI-vyprávěný · ~2 min
To vyměňuje malý globální dosah za velké úspory v paměti a počítání na dlouhých sekvencích.
Plná sebepozornost porovnává každý token s každým jiným tokenem, takže náklady rostou s druhou mocninou délky sekvence, což je u dlouhých dokumentů bolestivé. Řídká pozornost nahrazuje hustý vzor strukturovaným. Obyčejné návrhy zahrnují posuvné okno (místní) pozornost, kde každý žeton vidí pouze blízké sousedy; rozkročené nebo rozšířené vzory, které přeskakují, aby se levně dostaly do vzdáleného kontextu; a globální tokeny, několik speciálních pozic, které se starají o všechno a o které se všechno stará, fungující jako informační centra. Modely jako Longformer, BigBird a Sparse Transformer je kombinují, takže celkový počet připojení roste zhruba lineárně namísto kvadraticky, což umožňuje kontexty tisíců až desítek tisíc tokenů.
Longformer zpracovává celé vědecké články nebo právní dokumenty v jednom průchodu pomocí posuvného okna a globální pozornosti
BigBird zpracovává odpovědi na otázky v dlouhých dokumentech a genomické sekvence s pozorností v lineárním měřítku
Shrnutí textu v délce knihy, kde by plná pozornost vyčerpala paměť GPU
Systémy vyhledávání a chatu s dlouhým kontextem, které používají tokeny globálního centra k směrování klíčových informací mezi tisíce tokenů
Řídká pozornost zůstává ústředním bodem modelování s dlouhým kontextem, stále častěji spárovaná s optimalizovanými jádry, jako je FlashAttention, as naučenou nebo dynamickou vzácností, která vybírá, které tokeny se mají věnovat podle vstupu. Jak se kontextová okna rozšiřují směrem k milionům tokenů, hybridní sady mísí řídké, husté a stavové vrstvy. Očekávejte hardwarově orientovaná řídká jádra a pozornost založenou na směrování, aby se snížily náklady na čtení velmi dlouhých vstupů.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Díky řídké pozornosti jsou Transformers levnější tím, že každý token nechá věnovat pozornost pouze pečlivě vybrané podmnožině jiných tokenů, nikoli všem. To vyměňuje malý globální dosah za velké úspory v paměti a počítání na dlouhých sekvencích.
Plná pozornost porovnává každý token s každým dalším tokenem, což dává O(N na druhou) cenu v čase a paměti.
Místní pozornost omezuje pohled každého tokenu na pevné okno okolních tokenů, což dramaticky snižuje náklady.
Několik globálních tokenů se připojuje ke všem pozicím a umožňuje levně proudit informace v celé sekvenci.
BigBird ukázal, že jeho řídký vzor je univerzálním aproximátorem sekvenčních funkcí při zhruba lineárním škálování.
Omezením připojení k místním oknům a několika globálním spojům roste celkový počet připojení přibližně lineárně.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Block-Sparse a Native Sparse Attention
Technický