引導式測驗 · 中等 等級
分組查詢注意力測驗
回顧分組查詢注意力如何共享鍵/值頭、降低生成時快取成本以及如何從現有檢查點獲取。
問題 1 的 8
在分組查詢注意力中,一組查詢頭之間共享什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在分組查詢注意力中,一組查詢頭之間共享什麼?
- 鍵頭和值頭
- 僅輸出投影
- 輸入嵌入
- 學習率
- GQA 最好被描述為哪兩個極端之間的中間立場?
- 卷積和注意力
- 完整的多頭注意力和多查詢注意力
- FP32 和 FP8 精度
- 僅編碼器和僅解碼器模型
- GQA 主要使推理的哪一部分變得更便宜?
- 提示的標記化
- 訓練損失計算
- KV 快取及其產生期間的頻寬
- 最終的詞彙表上的softmax
- 如果一個模型有32個查詢頭和8個KV組,KV快取大約減少多少倍?
- 約 32 倍
- 約 2 倍
- 不減少
- 約 4 倍
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- 現有的多頭模型通常如何轉換為 GQA?
- 透過刪除所有註意力層
- 透過從現有檢查點進行簡短的「升級」步驟
- 透過切換到不同的分詞器
- 它們根本無法轉換
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- 約50%
- About 100%
- No additional training compute
- 約5%