Quiz collegato alla guida · Difficile Livello
Modelli spaziali statali e Mamba Quiz
Testa la complessità della sequenza dello spazio degli stati, la selettività di Mamba, la scansione basata sull'hardware, lo stato di inferenza ricorrente e i modelli ibridi.
Domanda 1 di 8
In che modo un modello di spazio degli stati si adatta alla lunghezza della sequenza, rispetto all'autoattenzione standard?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In che modo un modello di spazio degli stati si adatta alla lunghezza della sequenza, rispetto all'autoattenzione standard?
- Linearmente, rispetto al ridimensionamento quadratico dell'attenzione
- Quadraticamente, rispetto al ridimensionamento lineare dell'attenzione
- Entrambi scalano in modo identico
- In modo esponenziale per entrambi
- Qual è l’innovazione centrale che Mamba ha aggiunto ai precedenti SSM strutturati come S4?
- Utilizzando l'attenzione softmax internamente
- Far dipendere i parametri di aggiornamento dello stato dall'ingresso (selettività)
- Rimozione completa dello stato nascosto
- Passaggio al calcolo del tempo quadratico
- Perché Mamba aveva bisogno di una scansione parallela personalizzata compatibile con l'hardware?
- Perché le GPU non possono eseguire la moltiplicazione di matrici
- Per ridurre il numero di strati
- Perché rendere i parametri dipendenti dall'input interrompe il semplice trucco della convoluzione
- Perché non utilizza parametri appresi
- Durante l'inferenza, un vantaggio chiave in termini di efficienza di un SSM come Mamba è che utilizza:
- Memoria che cresce con l'intera lunghezza della sequenza, come una cache KV
- Nessun ricordo
- Più memoria di un Transformer di pari dimensioni
- Memoria approssimativamente costante per token generato
- Negli SSM strutturati classici (prima della selettività), la ricorrenza può essere calcolata in modo efficiente perché può essere riscritta come:
- Convoluzione lunga
- Operazione Softmax
- Albero decisionale
- Foresta casuale
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- Il mucchio
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation