DalšíDalší průvodce
Státní vesmírné modely a Mamba
Základy
Jazyk AI GUIDE
Mamba je sekvenční model postavený na modelech stavového prostoru (SSM), který zpracovává text v lineárním čase a nabízí rychlou alternativu kvadratické pozornosti Transformeru.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
Mamba, kterou koncem roku 2023 představili Albert Gu a Tri Dao, je postavena na strukturovaných modelech stavového prostoru. Klasický SSM komprimuje celou historii sekvence do skrytého stavu pevné velikosti a aktualizuje ji krok za krokem jako sofistikovaná rekurentní síť. Průlomem je selektivita: Mamba umožňuje, aby parametry SSM (kolik zachovat, kolik vpustit dovnitř) závisely na aktuálním tokenu, takže se model může zaměřit na relevantní slova a ignorovat výplň. To umožňuje jednomu stavu pevné velikosti fungovat jako paměť s vědomím obsahu. Protože se vyhýbá porovnávání každého tokenu s každým jiným tokenem, Mamba se lineárně mění s délkou sekvence a zůstává rychlá na velmi dlouhých vstupech, jako jsou genomy, zvuk nebo text v délce knihy.
Modelování extrémně dlouhých sekvencí DNA, kde jsou transformátory s miliony tokenů příliš drahé
Napájení jazykových asistentů s dlouhým kontextem, kteří shrnují celé knihy bez zkrácení
Generování zvuku v reálném čase a modelování řeči, které efektivně zpracovávají nezpracované křivky
Nasazení na zařízení nebo na okraji, kde malý opakující se stav s pevnou velikostí šetří paměť oproti rostoucí mezipaměti pozornosti
Mamba a její nástupce Mamba-2 tlačí do hybridních architektur, které prokládají několik vrstev pozornosti s mnoha vrstvami SSM a zachycují silné stránky obou. Očekávejte SSM v asistentech s dlouhým kontextem, v modelech na zařízení, kde je omezená paměť, a v netextových doménách, jako je DNA a zvuk. Výzkum zjišťuje, zda čisté SSM mohou odpovídat transformátorům v úkolech, které vyžadují přesné vyvolání, a zda se škálují na největší velikosti modelu.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Mamba je sekvenční model postavený na modelech stavového prostoru (SSM), který zpracovává text v lineárním čase a nabízí rychlou alternativu kvadratické pozornosti Transformeru. Jeho klíčový trik spočívá v tom, že model selektivně rozhoduje, co si má zapamatovat a zapomenout na základě samotného zadání.
Mamba se vyhýbá porovnávání tokenů všech párů, takže její cena roste lineárně s délkou sekvence spíše než kvadraticky jako pozornost.
Selektivita znamená, že parametry jako B, C a delta se stávají funkcemi aktuálního vstupu a poskytují paměť s vědomím obsahu.
SSM jsou modely opakujícího se stylu, které skládají minulost do stavu pevné velikosti, podobně jako RNN.
Konvoluční pohled vyžaduje pevné (časově invariantní) parametry; parametry závislé na vstupu to porušují, takže Mamba místo toho používá paralelní skenování.
Mamba používá selektivní skenování s ohledem na hardware, které udržuje mezistavy v rychlé paměti SRAM, aby obnovila propustnost.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Státní vesmírné modely a Mamba
Základy