Kvíz spojený s průvodcem · Těžko úroveň

Mamba a kvíz o selektivních stavových prostorech

Prohlédněte si parametry SSM závislé na vstupu Mamba, stav s pevnou velikostí, zpracování lineární časové sekvence a paralelní skenování podle hardwaru.

Související vodicí cestyMamba a selektivní stavové prostory
Otázka 1 z 8

Jaká je hlavní výpočetní výhoda Mamby oproti standardnímu Transformeru?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní výpočetní výhoda Mamby oproti standardnímu Transformeru?
    • Škáluje lineárně s délkou sekvence místo kvadraticky
    • Nepotřebuje žádná tréninková data
    • Funguje pouze na obrázky
    • Odstraňuje potřebu jakéhokoli skrytého stavu
  2. Co znamená slovo „selektivní“ v Mambě?
    • Vybírá, na kterém GPU se má spustit
    • Jeho parametry SSM závisí na vstupním tokenu, takže si může vybrat, co si má zapamatovat nebo zapomenout
    • Vybírá pouze podstatná jména a slovesa
    • Vybírá náhodnou podmnožinu tokenů, které se mají ignorovat
  3. Jak stavový model představuje historii sekvence?
    • Explicitním uložením každého předchozího tokenu
    • Nakreslením mapy pozornosti přes všechny dvojice
    • Komprimací historie do skrytého stavu pevné velikosti aktualizovaného krok za krokem
    • Neuchovává žádnou historii
  4. Proč nemůže Mamba použít zkratku rychlé konvoluce, kterou používaly dřívější SSM?
    • Protože konvoluce jsou na GPU nelegální
    • Protože nemá žádné parametry
    • Protože zpracovává tokeny v náhodném pořadí
    • Protože vytváření parametrů závislých na vstupu přeruší, vyžadují konvoluce časové invariance
  5. Jakou techniku používá Mamba, aby zůstala rychlá i přes ztrátu konvoluční zkratky?
    • Hardwarové paralelní skenování uložené v rychlé paměti GPU
    • Plně běžící na CPU
    • Ukládání všech párů tokenů do mezipaměti
    • Přeskakování většiny sekvence
  6. Kdo a kdy zhruba představil Mambu?
    • OpenAI v roce 2018
    • Albert Gu a Tri Dao na konci roku 2023
    • Google v roce 2015
    • Nikdo, je to hypotetické
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input