引導式測驗 · 中等 等級
多查詢注意力測驗
測試多查詢注意力如何共享鍵值頭、減少快取流量以及與解碼器模型中的分組查詢注意力相關。
問題 1 的 8
多查詢注意力在所有註意力頭中共享什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 多查詢注意力在所有註意力頭中共享什麼?
- 一組鍵和值
- 查詢預測
- 軟最大溫度
- 輸出層權重
- MQA 在自回歸生成過程中解決的主要瓶頸是什麼?
- 浮點計算吞吐量
- 載入 KV 快取的記憶體頻寬
- 訓練紀元數
- 分詞器詞彙量
- MQA 大致透過什麼因素縮小 KV 快取?
- 按序列長度
- 按批量大小
- 按關注頭數量
- 它不會改變KV快取大小
- 使用 MQA 的主要權衡是什麼?
- 推理速度慢很多
- 它根本不能再使用多個頭
- 它需要更多的訓練數據
- 模型品質略有下降
- 標準多頭注意力和 MQA 之間哪個變體?
- 分組查詢注意力
- 滑動視窗注意力
- 閃光注意
- 稀疏注意力
- 誰提出了多查詢注意力?
- 傑弗裡·辛頓
- 諾姆·沙澤爾
- 嚴樂存
- 安德烈·卡帕蒂
- 在多查詢注意力(Multi-Query Attention)中,對於每個注意力頭而言,哪些部分仍保持獨立?
- 共享的鍵投影
- 共享的值投影
- 查詢投影
- 令牌序列本身
- 分組查詢注意力(Grouped-Query Attention)與標準 MQA 有何不同?
- 它共享查詢投影,但為每個頭提供獨立的鍵和值
- 它移除注意力並以遞迴層取代
- 它將輸出詞彙令牌分組,而非注意力頭
- 它在多個查詢頭組內共享鍵和值,而非一次性跨所有頭共享