Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Állami űrmodellek és Mamba kvíz
Test state-space sequence complexity, Mamba selectivity, hardware-aware scan, recurrent inference state, and hybrid models.
kérdés 1 -ból 8
Hogyan skálázódik egy állapottérmodell a sorozathosszal, összehasonlítva a standard önfigyeléssel?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Hogyan skálázódik egy állapottérmodell a sorozathosszal, összehasonlítva a standard önfigyeléssel?
- Lineárisan, szemben a figyelem másodfokú skálázásával
- Kvadratikusan, szemben a figyelem lineáris skálázásával
- Mindkettő egyforma méretarányú
- Exponenciálisan mindkettőre
- Mi az a központi innováció, amelyet a Mamba hozzáadott a korábbi strukturált SSM-ekhez, például az S4-hez?
- Softmax figyelem belső használata
- Az állapotfrissítési paraméterek bemenettől függővé tétele (szelektivitás)
- A rejtett állapot teljes eltávolítása
- Váltás másodfokú idejű számításra
- Miért volt szüksége a Mambának egy egyéni hardver-tudatos párhuzamos vizsgálatra?
- Mivel a GPU-k nem tudnak mátrixszorzást végezni
- A rétegek számának csökkentésére
- Mivel a paraméterek bemenetfüggővé tétele megtöri az egyszerű konvolúciós trükköt
- Mert nem használ tanult paramétereket
- A következtetés során a Mamba-hoz hasonló SSM kulcsfontosságú hatékonysági előnye, hogy a következőket használja:
- Memória, amely a sorozat teljes hosszával növekszik, mint egy KV gyorsítótár
- Egyáltalán nincs memória
- Több memória, mint egy azonos méretű transzformátor
- Nagyjából állandó memória generált tokenenként
- A klasszikus strukturált SSM-ekben (a szelektivitás előtt) az ismétlődés hatékonyan kiszámítható, mivel átírható:
- Hosszú konvolúció
- Softmax működés
- Döntési fa
- Véletlen erdő
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- A halom
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation