Mit dem Guide verknüpftes Quiz · Schwer Ebene

Quiz zur latenten Aufmerksamkeit mit mehreren Köpfen

Entdecken Sie den gemeinsam genutzten latenten Cache von MLA, die Low-Rank-Rekonstruktion, die Projektionsabsorption, den Positionskodierungspfad und die Einsparung von Inferenzspeicher.

Verwandte FührungspfadeLatente Aufmerksamkeit mit mehreren Köpfen
Frage 1 von 8

Was ist das Hauptproblem, das Multi-Head Latent Attention reduzieren soll?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist das Hauptproblem, das Multi-Head Latent Attention reduzieren soll?
    • Der Speicheraufwand des Schlüsselwertcaches während der Inferenz
    • Mangel an Trainingsdaten
    • Die Anzahl der Modellparameter
    • Vokabulargröße des Tokenizers
  2. Wie verkleinert MLA den KV-Cache?
    • Es löscht ältere Token aus dem Cache
    • Es speichert einen kleinen latenten Vektor mit niedrigem Rang anstelle vollständiger Schlüssel und Werte pro Kopf
    • Es verwendet für alles 1-Bit-Gewichte
    • Bei einigen Token wird die Aufmerksamkeit vollständig übersprungen
  3. Welches Modell führte erstmals die latente Multi-Head-Aufmerksamkeit ein?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LLaMA 1
  4. Warum benötigt MLA einen separaten „entkoppelten“ Pfad für rotierende Positionseinbettungen?
    • Weil Positionen für die Aufmerksamkeit irrelevant sind
    • Denn RoPE verdoppelt den Wortschatz
    • Weil es den Optimierer beschleunigt
    • Denn die Drehung kann nicht wie der Rest des Schlüssels in den absorbierten Aufwärtsvorsprung gefaltet werden
  5. Wie viel KV-Cache-Speicherreduzierung hat DeepSeek-V2 ungefähr durch MLA im Vergleich zur standardmäßigen Multi-Head-Aufmerksamkeit gemeldet?
    • Über 90 %
    • Etwa 5 %
    • Genau 50 %
    • Keine Reduzierung, nur Geschwindigkeitsgewinne
  6. Welchen praktischen Nutzen ergibt sich direkt aus dem kleineren Pro-Token-Cache von MLA?
    • Eliminierung der Notwendigkeit einer GPU
    • Größere Inferenz-Batch-Größen und längere Kontexte auf derselben Hardware
    • Automatische Übersetzung in alle Sprachen
    • Entfernung des Softmax-Vorgangs
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections