Quiz collegato alla guida · Difficile Livello

Modelli spaziali statali e Mamba Quiz

Testa la complessità della sequenza dello spazio degli stati, la selettività di Mamba, la scansione basata sull'hardware, lo stato di inferenza ricorrente e i modelli ibridi.

Percorsi guida correlatiModelli spaziali statali e Mamba
Domanda 1 di 8

In che modo un modello di spazio degli stati si adatta alla lunghezza della sequenza, rispetto all'autoattenzione standard?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In che modo un modello di spazio degli stati si adatta alla lunghezza della sequenza, rispetto all'autoattenzione standard?
    • Linearmente, rispetto al ridimensionamento quadratico dell'attenzione
    • Quadraticamente, rispetto al ridimensionamento lineare dell'attenzione
    • Entrambi scalano in modo identico
    • In modo esponenziale per entrambi
  2. Qual è l’innovazione centrale che Mamba ha aggiunto ai precedenti SSM strutturati come S4?
    • Utilizzando l'attenzione softmax internamente
    • Far dipendere i parametri di aggiornamento dello stato dall'ingresso (selettività)
    • Rimozione completa dello stato nascosto
    • Passaggio al calcolo del tempo quadratico
  3. Perché Mamba aveva bisogno di una scansione parallela personalizzata compatibile con l'hardware?
    • Perché le GPU non possono eseguire la moltiplicazione di matrici
    • Per ridurre il numero di strati
    • Perché rendere i parametri dipendenti dall'input interrompe il semplice trucco della convoluzione
    • Perché non utilizza parametri appresi
  4. Durante l'inferenza, un vantaggio chiave in termini di efficienza di un SSM come Mamba è che utilizza:
    • Memoria che cresce con l'intera lunghezza della sequenza, come una cache KV
    • Nessun ricordo
    • Più memoria di un Transformer di pari dimensioni
    • Memoria approssimativamente costante per token generato
  5. Negli SSM strutturati classici (prima della selettività), la ricorrenza può essere calcolata in modo efficiente perché può essere riscritta come:
    • Convoluzione lunga
    • Operazione Softmax
    • Albero decisionale
    • Foresta casuale
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Il mucchio
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation