引導式測驗 · 中等 等級

分組查詢注意力測驗

回顧分組查詢注意力如何共享鍵/值頭、降低生成時快取成本以及如何從現有檢查點獲取。

相關引導路徑分組查詢注意力
問題 1 的 8

在分組查詢注意力中,一組查詢頭之間共享什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在分組查詢注意力中,一組查詢頭之間共享什麼?
    • 鍵頭和值頭
    • 僅輸出投影
    • 輸入嵌入
    • 學習率
  2. GQA 最好被描述為哪兩個極端之間的中間立場?
    • 卷積和注意力
    • 完整的多頭注意力和多查詢注意力
    • FP32 和 FP8 精度
    • 僅編碼器和僅解碼器模型
  3. GQA 主要使推理的哪一部分變得更便宜?
    • 提示的標記化
    • 訓練損失計算
    • KV 快取及其產生期間的頻寬
    • 最終的詞彙表上的softmax
  4. 如果一個模型有32個查詢頭和8個KV組,KV快取大約減少多少倍?
    • 約 32 倍
    • 約 2 倍
    • 不減少
    • 約 4 倍
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. 現有的多頭模型通常如何轉換為 GQA?
    • 透過刪除所有註意力層
    • 透過從現有檢查點進行簡短的「升級」步驟
    • 透過切換到不同的分詞器
    • 它們根本無法轉換
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • 約50%
    • About 100%
    • No additional training compute
    • 約5%