Kvíz spojený s průvodcem · Těžko úroveň

State Space Models a Mamba Quiz

Testujte složitost stavové sekvence, selektivitu Mamba, hardwarové skenování, stav opakujících se inferencí a hybridní modely.

Související vodicí cestyStátní Vesmírné Modely A Mamba
Otázka 1 z 8

Jak se škáluje model stavového prostoru s délkou sekvence ve srovnání se standardní sebepozorností?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak se škáluje model stavového prostoru s délkou sekvence ve srovnání se standardní sebepozorností?
    • Lineárně, versus kvadratické škálování pozornosti
    • Kvadraticky, versus lineární škálování pozornosti
    • Oba měřítko identicky
    • Exponenciálně pro oba
  2. Jaká je hlavní inovace, kterou Mamba přidala k předchozím strukturovaným SSM, jako je S4?
    • Interní používání pozornosti softmax
    • Nastavení parametrů aktualizace stavu v závislosti na vstupu (selektivitě)
    • Úplné odstranění skrytého stavu
    • Přechod na výpočet kvadratického času
  3. Proč Mamba potřebovala vlastní hardwarové paralelní skenování?
    • Protože GPU neumí maticové násobení
    • Chcete-li snížit počet vrstev
    • Protože nastavení parametrů závislých na vstupu přerušuje jednoduchý konvoluční trik
    • Protože nepoužívá žádné naučené parametry
  4. Během inference je klíčovou výhodou efektivity SSM, jako je Mamba, to, že používá:
    • Paměť, která roste s délkou celé sekvence, jako mezipaměť KV
    • Vůbec žádná paměť
    • Více paměti než stejně velký transformátor
    • Zhruba konstantní paměť na vygenerovaný token
  5. V klasických strukturovaných SSM (před selektivitou) lze opakování vypočítat efektivně, protože je lze přepsat jako:
    • Dlouhá konvoluce
    • Provoz Softmax
    • Rozhodovací strom
    • Náhodný les
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Hromada
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation