Kvíz spojený s průvodcem · Těžko úroveň
State Space Models a Mamba Quiz
Testujte složitost stavové sekvence, selektivitu Mamba, hardwarové skenování, stav opakujících se inferencí a hybridní modely.
Otázka 1 z 8
Jak se škáluje model stavového prostoru s délkou sekvence ve srovnání se standardní sebepozorností?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jak se škáluje model stavového prostoru s délkou sekvence ve srovnání se standardní sebepozorností?
- Lineárně, versus kvadratické škálování pozornosti
- Kvadraticky, versus lineární škálování pozornosti
- Oba měřítko identicky
- Exponenciálně pro oba
- Jaká je hlavní inovace, kterou Mamba přidala k předchozím strukturovaným SSM, jako je S4?
- Interní používání pozornosti softmax
- Nastavení parametrů aktualizace stavu v závislosti na vstupu (selektivitě)
- Úplné odstranění skrytého stavu
- Přechod na výpočet kvadratického času
- Proč Mamba potřebovala vlastní hardwarové paralelní skenování?
- Protože GPU neumí maticové násobení
- Chcete-li snížit počet vrstev
- Protože nastavení parametrů závislých na vstupu přerušuje jednoduchý konvoluční trik
- Protože nepoužívá žádné naučené parametry
- Během inference je klíčovou výhodou efektivity SSM, jako je Mamba, to, že používá:
- Paměť, která roste s délkou celé sekvence, jako mezipaměť KV
- Vůbec žádná paměť
- Více paměti než stejně velký transformátor
- Zhruba konstantní paměť na vygenerovaný token
- V klasických strukturovaných SSM (před selektivitou) lze opakování vypočítat efektivně, protože je lze přepsat jako:
- Dlouhá konvoluce
- Provoz Softmax
- Rozhodovací strom
- Náhodný les
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- Hromada
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation