引導式測驗 · 中等 等級

多查詢注意力測驗

測試多查詢注意力如何共享鍵值頭、減少快取流量以及與解碼器模型中的分組查詢注意力相關。

相關引導路徑多查詢注意力
問題 1 的 8

多查詢注意力在所有註意力頭中共享什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 多查詢注意力在所有註意力頭中共享什麼?
    • 一組鍵和值
    • 查詢預測
    • 軟最大溫度
    • 輸出層權重
  2. MQA 在自回歸生成過程中解決的主要瓶頸是什麼?
    • 浮點計算吞吐量
    • 載入 KV 快取的記憶體頻寬
    • 訓練紀元數
    • 分詞器詞彙量
  3. MQA 大致透過什麼因素縮小 KV 快取?
    • 按序列長度
    • 按批量大小
    • 按關注頭數量
    • 它不會改變KV快取大小
  4. 使用 MQA 的主要權衡是什麼?
    • 推理速度慢很多
    • 它根本不能再使用多個頭
    • 它需要更多的訓練數據
    • 模型品質略有下降
  5. 標準多頭注意力和 MQA 之間哪個變體?
    • 分組查詢注意力
    • 滑動視窗注意力
    • 閃光注意
    • 稀疏注意力
  6. 誰提出了多查詢注意力?
    • 傑弗裡·辛頓
    • 諾姆·沙澤爾
    • 嚴樂存
    • 安德烈·卡帕蒂
  7. 在多查詢注意力(Multi-Query Attention)中,對於每個注意力頭而言,哪些部分仍保持獨立?
    • 共享的鍵投影
    • 共享的值投影
    • 查詢投影
    • 令牌序列本身
  8. 分組查詢注意力(Grouped-Query Attention)與標準 MQA 有何不同?
    • 它共享查詢投影,但為每個頭提供獨立的鍵和值
    • 它移除注意力並以遞迴層取代
    • 它將輸出詞彙令牌分組,而非注意力頭
    • 它在多個查詢頭組內共享鍵和值,而非一次性跨所有頭共享