Mit dem Guide verknüpftes Quiz · Mittel Ebene

Aufmerksamkeitsquiz mit mehreren Abfragen

Testen Sie, wie Multi-Query Attention Schlüsselwertköpfe teilt, den Cache-Verkehr reduziert und sich auf die Aufmerksamkeit gruppierter Abfragen in Decoder-Modellen bezieht.

Verwandte FührungspfadeAufmerksamkeit bei mehreren Abfragen
Frage 1 von 8

Was hat Multi-Query Attention mit allen Aufmerksamkeitsköpfen gemeinsam?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was hat Multi-Query Attention mit allen Aufmerksamkeitsköpfen gemeinsam?
    • Ein einzelner Satz von Schlüsseln und Werten
    • Die Abfrageprojektionen
    • Die Softmax-Temperatur
    • Die Ausgabe-Layer-Gewichte
  2. Was ist der Hauptengpass, den MQA während der autoregressiven Generierung behebt?
    • Gleitkomma-Rechendurchsatz
    • Speicherbandbreite durch Laden des KV-Cache
    • Die Anzahl der Trainingsepochen
    • Vokabulargröße des Tokenizers
  3. Um welchen Faktor verkleinert MQA ungefähr den KV-Cache?
    • Durch die Sequenzlänge
    • Nach der Chargengröße
    • Nach der Anzahl der Aufmerksamkeitsköpfe
    • Die KV-Cache-Größe wird dadurch nicht geändert
  4. Was ist der Hauptkompromiss bei der Verwendung von MQA?
    • Viel langsamere Schlussfolgerung
    • Es ist überhaupt nicht mehr möglich, mehrere Köpfe zu verwenden
    • Es erfordert weitaus mehr Trainingsdaten
    • Ein geringfügiger Rückgang der Modellqualität
  5. Welche Variante liegt zwischen Standard-Multi-Head-Aufmerksamkeit und MQA?
    • Achtung bei gruppierter Abfrage
    • Schiebefenster Achtung
    • Blitzaufmerksamkeit
    • Spärliche Aufmerksamkeit
  6. Wer hat Multi-Query Attention vorgeschlagen?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once