Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Mamba és Selective State Spaces kvíz

Review Mamba’s input-dependent SSM parameters, fixed-size state, linear-time sequence processing, and hardware-aware parallel scan.

Kapcsolódó útmutató utakMamba és a szelektív állapotterek
kérdés 1 -ból 8

Mi a Mamba fő számítási előnye a hagyományos Transformerrel szemben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a Mamba fő számítási előnye a hagyományos Transformerrel szemben?
    • Lineárisan skálázódik a sorozat hosszával a négyzetes helyett
    • Nincs szükség edzési adatokra
    • Csak képeken működik
    • Megszünteti a rejtett állapotok szükségességét
  2. Mire utal a „szelektív” szó a Mambában?
    • Kiválasztja, hogy melyik GPU-n fut
    • SSM paraméterei a bemeneti tokentől függenek, így kiválaszthatja, hogy mit emlékezzen vagy felejtsen el
    • Csak a főneveket és igéket választja ki
    • A figyelmen kívül hagyandó tokenek véletlenszerű részhalmazát választja ki
  3. Hogyan ábrázolja egy állapottér-modell egy sorozat történetét?
    • Minden korábbi token explicit tárolásával
    • Figyelemtérkép felrajzolásával minden párra
    • Az előzmények fix méretű rejtett állapotba tömörítésével lépésről lépésre frissítve
    • Nem őriz történelmet
  4. Miért nem tudja a Mamba a korábbi SSM-ek által használt gyors konvolúciós parancsikont használni?
    • Mert a konvolúciók illegálisak a GPU-kon
    • Mert nincsenek paraméterei
    • Mert véletlenszerű sorrendben dolgozza fel a tokeneket
    • Mivel a paraméterek bemeneti függővé tétele megszakítja az idő-invariancia konvolúciót
  5. Milyen technikát használ a Mamba, hogy gyors maradjon a konvolúciós parancsikon elvesztése ellenére?
    • A gyors GPU memóriában tárolt hardvertudatos párhuzamos vizsgálat
    • Teljesen CPU-n fut
    • Az összes tokenpár gyorsítótárazása
    • A sorozat nagy részének kihagyása
  6. Ki mutatta be a Mambát és nagyjából mikor?
    • OpenAI 2018-ban
    • Albert Gu és Tri Dao 2023 végén
    • Google 2015-ben
    • Senki, ez hipotetikus
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input