Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Mamba és Selective State Spaces kvíz
Review Mamba’s input-dependent SSM parameters, fixed-size state, linear-time sequence processing, and hardware-aware parallel scan.
kérdés 1 -ból 8
Mi a Mamba fő számítási előnye a hagyományos Transformerrel szemben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a Mamba fő számítási előnye a hagyományos Transformerrel szemben?
- Lineárisan skálázódik a sorozat hosszával a négyzetes helyett
- Nincs szükség edzési adatokra
- Csak képeken működik
- Megszünteti a rejtett állapotok szükségességét
- Mire utal a „szelektív” szó a Mambában?
- Kiválasztja, hogy melyik GPU-n fut
- SSM paraméterei a bemeneti tokentől függenek, így kiválaszthatja, hogy mit emlékezzen vagy felejtsen el
- Csak a főneveket és igéket választja ki
- A figyelmen kívül hagyandó tokenek véletlenszerű részhalmazát választja ki
- Hogyan ábrázolja egy állapottér-modell egy sorozat történetét?
- Minden korábbi token explicit tárolásával
- Figyelemtérkép felrajzolásával minden párra
- Az előzmények fix méretű rejtett állapotba tömörítésével lépésről lépésre frissítve
- Nem őriz történelmet
- Miért nem tudja a Mamba a korábbi SSM-ek által használt gyors konvolúciós parancsikont használni?
- Mert a konvolúciók illegálisak a GPU-kon
- Mert nincsenek paraméterei
- Mert véletlenszerű sorrendben dolgozza fel a tokeneket
- Mivel a paraméterek bemeneti függővé tétele megszakítja az idő-invariancia konvolúciót
- Milyen technikát használ a Mamba, hogy gyors maradjon a konvolúciós parancsikon elvesztése ellenére?
- A gyors GPU memóriában tárolt hardvertudatos párhuzamos vizsgálat
- Teljesen CPU-n fut
- Az összes tokenpár gyorsítótárazása
- A sorozat nagy részének kihagyása
- Ki mutatta be a Mambát és nagyjából mikor?
- OpenAI 2018-ban
- Albert Gu és Tri Dao 2023 végén
- Google 2015-ben
- Senki, ez hipotetikus
- Which Mamba state-space parameters are made functions of the current input?
- Only the fixed transition matrix A
- The output vocabulary and tokenizer
- B, C, and the step size delta
- The attention query and key heads
- What do the variable B, C, and delta parameters let Mamba do?
- Build a growing key-value cache for every token
- Route each token to an expert network only
- Replace the state update with full all-pairs attention
- Choose how much information to let into the state and how much to retain based on the input