Mit dem Guide verknüpftes Quiz · Schwer Ebene

State Space Models und Mamba-Quiz

Testen Sie die Komplexität der Zustandsraumsequenz, die Mamba-Selektivität, den hardwarebewussten Scan, den wiederkehrenden Inferenzzustand und Hybridmodelle.

Verwandte FührungspfadeZustandsraummodelle und Mamba
Frage 1 von 8

Wie skaliert ein Zustandsraummodell mit der Sequenzlänge im Vergleich zur Standard-Selbstaufmerksamkeit?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Wie skaliert ein Zustandsraummodell mit der Sequenzlänge im Vergleich zur Standard-Selbstaufmerksamkeit?
    • Linear im Vergleich zur quadratischen Skalierung der Aufmerksamkeit
    • Quadratisch im Vergleich zur linearen Skalierung der Aufmerksamkeit
    • Beide skalieren identisch
    • Exponentiell für beide
  2. Was ist die zentrale Innovation, die Mamba zu früheren strukturierten SSMs wie S4 hinzugefügt hat?
    • Softmax-Aufmerksamkeit intern nutzen
    • Die Zustandsaktualisierungsparameter von der Eingabe abhängig machen (Selektivität)
    • Den verborgenen Zustand vollständig entfernen
    • Wechsel zur quadratischen Zeitberechnung
  3. Warum benötigte Mamba einen benutzerdefinierten hardwarebewussten parallelen Scan?
    • Weil GPUs keine Matrixmultiplikation durchführen können
    • Um die Anzahl der Schichten zu reduzieren
    • Weil die Eingabeabhängigkeit der Parameter den einfachen Faltungstrick zunichte macht
    • Weil es keine gelernten Parameter verwendet
  4. Bei der Inferenz besteht ein wesentlicher Effizienzvorteil eines SSM wie Mamba darin, dass es Folgendes verwendet:
    • Speicher, der mit der vollen Sequenzlänge wächst, wie ein KV-Cache
    • Überhaupt keine Erinnerung
    • Mehr Speicher als ein Transformer gleicher Größe
    • Ungefähr konstanter Speicher pro generiertem Token
  5. In klassischen strukturierten SSMs (vor der Selektivität) kann die Wiederholung effizient berechnet werden, da sie wie folgt umgeschrieben werden kann:
    • Lange Faltung
    • Softmax-Betrieb
    • Entscheidungsbaum
    • Zufälliger Wald
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Der Haufen
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation