Mit dem Guide verknüpftes Quiz · Mittel Ebene

Aufmerksamkeitsquiz mit gruppierten Abfragen

Überprüfen Sie, wie die Aufmerksamkeit bei gruppierten Abfragen Schlüssel-/Wertköpfe teilt, die Cache-Kosten für die Generierungszeit senkt und von vorhandenen Prüfpunkten abgerufen werden kann.

Verwandte FührungspfadeGruppierte Abfrageaufmerksamkeit
Frage 1 von 8

Was wird in Grouped-Query Attention von einer Gruppe von Abfrageköpfen gemeinsam genutzt?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was wird in Grouped-Query Attention von einer Gruppe von Abfrageköpfen gemeinsam genutzt?
    • Die Schlüssel- und Wertköpfe
    • Nur die Ausgabeprojektion
    • Die Eingabeeinbettungen
    • Die Lernrate
  2. GQA lässt sich am besten als Mittelweg zwischen welchen beiden Extremen beschreiben?
    • Faltung und Aufmerksamkeit
    • Volle Multi-Head-Aufmerksamkeit und Multi-Query-Aufmerksamkeit
    • FP32- und FP8-Präzision
    • Nur-Encoder- und Nur-Decoder-Modelle
  3. Welchen Teil der Schlussfolgerung macht GQA in erster Linie billiger?
    • Tokenisierung der Eingabeaufforderung
    • Die Berechnung des Trainingsverlusts
    • Der KV-Cache-Speicher und seine Bandbreite während der Generierung
    • Der letzte Softmax über den Wortschatz
  4. Wenn ein Modell 32 Abfrageköpfe und 8 KV-Gruppen hat, wird der KV-Cache ungefähr um welchen Faktor reduziert?
    • Ungefähr 32x
    • Ungefähr 2x
    • Keine Reduzierung
    • Ungefähr 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. Wie werden bestehende Mehrkopfmodelle häufig auf GQA umgestellt?
    • Durch Löschen aller Aufmerksamkeitsebenen
    • Durch einen kurzen „Uptraining“-Schritt vom bestehenden Kontrollpunkt aus
    • Durch den Wechsel zu einem anderen Tokenizer
    • Sie können überhaupt nicht konvertiert werden
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • Ungefähr 50 %
    • About 100%
    • No additional training compute
    • Etwa 5 %