LegközelebbKövetkező útmutató
Állami űrmodellek és Mamba
Alapok
Nyelvi AI ÚTMUTATÓ
A Mamba egy állapottér modellekre (SSM) épülő sorozatmodell, amely lineáris időben dolgozza fel a szöveget, gyors alternatívát kínálva a Transformer kvadratikus figyelmének.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
Az Albert Gu és Tri Dao által 2023 végén bemutatott Mamba strukturált állapottér modellekre épül. A klasszikus SSM egy sorozat teljes történetét egy rögzített méretű rejtett állapotba tömöríti, és lépésről lépésre frissíti, mint egy kifinomult visszatérő hálózat. Az áttörést a szelektivitás jelenti: a Mamba az SSM paramétereit (mennyit kell megtartani, mennyit kell beengedni) az aktuális tokentől függ, így a modell a releváns szavakra fókuszálhat, és figyelmen kívül hagyhatja a fillert. Ez lehetővé teszi, hogy egy rögzített méretű állapot tartalomtudatos memóriaként működjön. Mivel elkerüli az összes token és a többi token összehasonlítását, a Mamba lineárisan skáláz a szekvencia hosszával, és gyors marad a nagyon hosszú bemeneteken, például a genomokon, hanganyagon vagy könyvhosszúságú szövegeken.
Rendkívül hosszú DNS-szekvenciák modellezése, ahol a millió token transzformátorok túl drágák
Erőteljes, hosszú szövegkörnyezetű nyelvi asszisztensek, amelyek teljes könyveket foglalnak össze csonkítás nélkül
Valós idejű hanggenerálás és beszédmodellezés, amely hatékonyan dolgozza fel a nyers hullámformákat
Eszközön vagy szélén történő telepítések, ahol egy kis, rögzített méretű visszatérő állapot memóriát takarít meg a növekvő figyelem-gyorsítótárral szemben
A Mamba és utódja, a Mamba-2 olyan hibrid architektúrák felé törekszik, amelyek néhány figyelemréteget sok SSM-réteggel egyesítenek, megragadva mindkettő erősségeit. SSM-ekre számíthat a hosszú kontextusú asszisztensekben, az eszközön lévő modellekben, ahol korlátozott a memória, és a nem szöveges tartományokban, mint például a DNS és a hang. A kutatások azt vizsgálják, hogy a tiszta SSM-ek megfelelnek-e a Transformersnek a precíz visszahívást igénylő feladatoknál, és hogy a legnagyobb modellméretre méretezhetők-e.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Mamba egy állapottér modellekre (SSM) épülő sorozatmodell, amely lineáris időben dolgozza fel a szöveget, gyors alternatívát kínálva a Transformer kvadratikus figyelmének. Legfontosabb trükkje az, hogy a modell szelektíven döntse el, mire emlékezzen és mit felejtsen el maga a bemenet alapján.
A Mamba elkerüli az összes pár token összehasonlítását, így költsége lineárisan nő a sorozat hosszával, nem pedig négyzetesen, mint a figyelem.
A szelektivitás azt jelenti, hogy az olyan paraméterek, mint a B, C és delta, az aktuális bemenet függvényeivé válnak, így tartalomtudatos memóriát biztosítanak.
Az SSM-ek visszatérő stílusú modellek, amelyek a múltat rögzített méretű állapotba hajtják, hasonlóan az RNN-hez.
A konvolúciós nézet fix (időinvariáns) paramétereket igényel; A bemenettől függő paraméterek ezt megtörik, ezért a Mamba párhuzamos vizsgálatot használ helyette.
A Mamba hardver-tudatos szelektív vizsgálatot használ, amely a köztes állapotokat gyors SRAM-ban tartja az átviteli sebesség helyreállítása érdekében.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Állami űrmodellek és Mamba
Alapok