Mit dem Guide verknüpftes Quiz · Schwer Ebene

Quiz zu Mamba und selektiven Zustandsräumen

Sehen Sie sich die eingabeabhängigen SSM-Parameter, den Status mit fester Größe, die lineare Zeitsequenzverarbeitung und den hardwarebewussten parallelen Scan von Mamba an.

Verwandte FührungspfadeMamba und selektive Zustandsräume
Frage 1 von 8

Was ist der Hauptrechenvorteil von Mamba gegenüber einem Standard-Transformer?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist der Hauptrechenvorteil von Mamba gegenüber einem Standard-Transformer?
    • Es skaliert linear mit der Sequenzlänge statt quadratisch
    • Es sind keine Trainingsdaten erforderlich
    • Es funktioniert nur bei Bildern
    • Dadurch entfällt die Notwendigkeit eines versteckten Zustands
  2. Worauf bezieht sich das Wort „selektiv“ in Mamba?
    • Es wählt aus, auf welcher GPU ausgeführt werden soll
    • Seine SSM-Parameter hängen vom Eingabetoken ab, sodass er auswählen kann, was er sich merken oder vergessen möchte
    • Es werden nur Substantive und Verben ausgewählt
    • Es wählt eine zufällige Teilmenge von Token aus, die ignoriert werden sollen
  3. Wie stellt ein Zustandsraummodell den Verlauf einer Sequenz dar?
    • Durch explizites Speichern jedes vorherigen Tokens
    • Durch Zeichnen einer Aufmerksamkeitskarte über alle Paare
    • Durch Komprimieren des Verlaufs in einen verborgenen Zustand mit fester Größe wird dieser Schritt für Schritt aktualisiert
    • Es wird keine Historie gespeichert
  4. Warum kann Mamba nicht die schnelle Faltungsverknüpfung verwenden, die frühere SSMs verwendeten?
    • Weil Faltungen auf GPUs illegal sind
    • Weil es keine Parameter hat
    • Weil es Token in zufälliger Reihenfolge verarbeitet
    • Da die Parameter eingabeabhängig gemacht werden, werden die Zeitinvarianzfaltungen unterbrochen, die erforderlich sind
  5. Welche Technik verwendet Mamba, um schnell zu bleiben, obwohl die Faltungsverknüpfung verloren geht?
    • Ein hardwarebewusster paralleler Scan, der im schnellen GPU-Speicher gespeichert wird
    • Läuft vollständig auf der CPU
    • Zwischenspeicherung aller Token-Paare
    • Der größte Teil der Sequenz wird übersprungen
  6. Wer hat Mamba eingeführt und ungefähr wann?
    • OpenAI im Jahr 2018
    • Albert Gu und Tri Dao Ende 2023
    • Google im Jahr 2015
    • Niemand, es ist hypothetisch
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input