Kvíz spojený s průvodcem · Těžko úroveň
Mamba a kvíz o selektivních stavových prostorech
Prohlédněte si parametry SSM závislé na vstupu Mamba, stav s pevnou velikostí, zpracování lineární časové sekvence a paralelní skenování podle hardwaru.
Otázka 1 z 8
Jaká je hlavní výpočetní výhoda Mamby oproti standardnímu Transformeru?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní výpočetní výhoda Mamby oproti standardnímu Transformeru?
- Škáluje lineárně s délkou sekvence místo kvadraticky
- Nepotřebuje žádná tréninková data
- Funguje pouze na obrázky
- Odstraňuje potřebu jakéhokoli skrytého stavu
- Co znamená slovo „selektivní“ v Mambě?
- Vybírá, na kterém GPU se má spustit
- Jeho parametry SSM závisí na vstupním tokenu, takže si může vybrat, co si má zapamatovat nebo zapomenout
- Vybírá pouze podstatná jména a slovesa
- Vybírá náhodnou podmnožinu tokenů, které se mají ignorovat
- Jak stavový model představuje historii sekvence?
- Explicitním uložením každého předchozího tokenu
- Nakreslením mapy pozornosti přes všechny dvojice
- Komprimací historie do skrytého stavu pevné velikosti aktualizovaného krok za krokem
- Neuchovává žádnou historii
- Proč nemůže Mamba použít zkratku rychlé konvoluce, kterou používaly dřívější SSM?
- Protože konvoluce jsou na GPU nelegální
- Protože nemá žádné parametry
- Protože zpracovává tokeny v náhodném pořadí
- Protože vytváření parametrů závislých na vstupu přeruší, vyžadují konvoluce časové invariance
- Jakou techniku používá Mamba, aby zůstala rychlá i přes ztrátu konvoluční zkratky?
- Hardwarové paralelní skenování uložené v rychlé paměti GPU
- Plně běžící na CPU
- Ukládání všech párů tokenů do mezipaměti
- Přeskakování většiny sekvence
- Kdo a kdy zhruba představil Mambu?
- OpenAI v roce 2018
- Albert Gu a Tri Dao na konci roku 2023
- Google v roce 2015
- Nikdo, je to hypotetické
- Which Mamba state-space parameters are made functions of the current input?
- Only the fixed transition matrix A
- The output vocabulary and tokenizer
- B, C, and the step size delta
- The attention query and key heads
- What do the variable B, C, and delta parameters let Mamba do?
- Build a growing key-value cache for every token
- Route each token to an expert network only
- Replace the state update with full all-pairs attention
- Choose how much information to let into the state and how much to retain based on the input