Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Állami űrmodellek és Mamba kvíz

Test state-space sequence complexity, Mamba selectivity, hardware-aware scan, recurrent inference state, and hybrid models.

Kapcsolódó útmutató utakÁllami Űrmodellek és Mamba
kérdés 1 -ból 8

Hogyan skálázódik egy állapottérmodell a sorozathosszal, összehasonlítva a standard önfigyeléssel?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Hogyan skálázódik egy állapottérmodell a sorozathosszal, összehasonlítva a standard önfigyeléssel?
    • Lineárisan, szemben a figyelem másodfokú skálázásával
    • Kvadratikusan, szemben a figyelem lineáris skálázásával
    • Mindkettő egyforma méretarányú
    • Exponenciálisan mindkettőre
  2. Mi az a központi innováció, amelyet a Mamba hozzáadott a korábbi strukturált SSM-ekhez, például az S4-hez?
    • Softmax figyelem belső használata
    • Az állapotfrissítési paraméterek bemenettől függővé tétele (szelektivitás)
    • A rejtett állapot teljes eltávolítása
    • Váltás másodfokú idejű számításra
  3. Miért volt szüksége a Mambának egy egyéni hardver-tudatos párhuzamos vizsgálatra?
    • Mivel a GPU-k nem tudnak mátrixszorzást végezni
    • A rétegek számának csökkentésére
    • Mivel a paraméterek bemenetfüggővé tétele megtöri az egyszerű konvolúciós trükköt
    • Mert nem használ tanult paramétereket
  4. A következtetés során a Mamba-hoz hasonló SSM kulcsfontosságú hatékonysági előnye, hogy a következőket használja:
    • Memória, amely a sorozat teljes hosszával növekszik, mint egy KV gyorsítótár
    • Egyáltalán nincs memória
    • Több memória, mint egy azonos méretű transzformátor
    • Nagyjából állandó memória generált tokenenként
  5. A klasszikus strukturált SSM-ekben (a szelektivitás előtt) az ismétlődés hatékonyan kiszámítható, mivel átírható:
    • Hosszú konvolúció
    • Softmax működés
    • Döntési fa
    • Véletlen erdő
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • A halom
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation