Test legat de ghid · Greu Nivel

Test Mamba și spații de stat selective

Examinați parametrii SSM dependenți de intrare ai lui Mamba, starea de dimensiune fixă, procesarea secvenței în timp liniar și scanarea paralelă conștientă de hardware.

Căi de ghidare aferenteMamba și spații de stat selective
Întrebare 1 de 8

Care este principalul avantaj computațional al Mamba față de un transformator standard?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care este principalul avantaj computațional al Mamba față de un transformator standard?
    • Se scalează liniar cu lungimea secvenței în loc de pătratic
    • Nu are nevoie de date de antrenament
    • Funcționează doar pe imagini
    • Îndepărtează nevoia oricărei stări ascunse
  2. La ce se referă cuvântul „selectiv” în Mamba?
    • Selectează pe ce GPU să ruleze
    • Parametrii săi SSM depind de jetonul de intrare, astfel încât poate alege ce să-și amintească sau să uite
    • Selectează numai substantive și verbe
    • Alege un subset aleatoriu de jetoane de ignorat
  3. Cum reprezintă un model de spațiu de stat istoria unei secvențe?
    • Prin stocarea explicită a fiecărui token anterior
    • Prin trasarea unei hărți a atenției asupra tuturor perechilor
    • Prin comprimarea istoricului într-o stare ascunsă de dimensiune fixă, actualizată pas cu pas
    • Nu păstrează nicio istorie
  4. De ce nu poate folosi Mamba comanda rapidă de convoluție rapidă pe care o foloseau SSM-urile anterioare?
    • Pentru că convoluțiile sunt ilegale pe GPU
    • Pentru că nu are parametri
    • Pentru că procesează jetoanele în ordine aleatorie
    • Deoarece realizarea de întreruperi dependente de intrare a parametrilor necesită convoluțiile de invarianță în timp
  5. Ce tehnică folosește Mamba pentru a rămâne rapid în ciuda pierderii comenzii rapide de convoluție?
    • O scanare paralelă conștientă de hardware păstrată în memoria GPU rapidă
    • Rulează în întregime pe CPU
    • Memorarea în cache a tuturor perechilor de jetoane
    • Sari peste cea mai mare parte a secvenței
  6. Cine a prezentat Mamba și, aproximativ, când?
    • OpenAI în 2018
    • Albert Gu și Tri Dao la sfârșitul anului 2023
    • Google în 2015
    • Nimeni, este ipotetic
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input