概述
它透過縮小模型必須隨機播放的記憶體來顯著加快文字生成速度。
深入探討
標準的多頭注意力為每個頭提供了自己的查詢、鍵和值投影。在生成過程中,所有過去令牌的鍵和值都必須在每個步驟中快取和重新載入 - 這個 KV 快取成為主要瓶頸,因為從記憶體中讀取它比數學本身慢。多重查詢注意力機制由 Noam Shazeer 在 2019 年提出,它為每個頭保留單獨的查詢投影,但將鍵和值折疊到單個共享頭。這會將 KV 快取縮小到等於磁頭數量的係數,有時小 8 倍到 64 倍。結果是自回歸解碼速度更快,記憶體佔用更輕,品質僅略有下降。中間立場,分組查詢注意力,平衡了權衡。
現實世界的實施
加速聊天助理中逐個令牌的生成,其中 KV 快取(而不是原始計算)限制了吞吐量。
Google 的 PaLM,它使用多重查詢注意力來實現高效的大規模推理。
透過縮小每個請求的 KV 快取內存,在一個 GPU 上為許多並髮用戶提供服務。
Llama 2 70B 和 Llama 3 中的分組查詢注意力機制,是平衡 MQA 速度與全注意力品質的直系後代。
多查詢注意力的未來
MQA 認為,您可以修剪冗餘的鍵/值頭,而不會造成任何損害,而這種洞察力現在幾乎塑造了所有快速推理法學碩士。該領域在很大程度上集中在 Llama 2/3 和許多其他應用中使用的分組查詢注意力 (GQA),它使用幾個 KV 組而不是一個來恢復質量,同時保持大部分加速。未來的工作將這些想法與 KV 快取壓縮、量化和多潛在註意力相結合,以推動更長的上下文和更便宜的服務。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是多查詢注意力?
多查詢注意力(MQA)是變壓器注意力的一種節省記憶體的方式,它在所有註意力頭之間共享一組鍵和值。它透過縮小模型必須隨機播放的記憶體來顯著加快文字生成速度。
多查詢注意力在所有註意力頭中共享什麼?
MQA 為每個頭保留單獨的查詢,但在所有頭之間共用一個鍵投影和一個值投影。
MQA 在自回歸生成過程中解決的主要瓶頸是什麼?
重新載入大型 KV 快取的每一步都會受到頻寬限制; MQA 縮小快取以加快解碼速度。
MQA 大致透過什麼因素縮小 KV 快取?
由於鍵和值從 H 個頭縮減為 1 個頭,因此快取大約縮小了頭數。
使用 MQA 的主要權衡是什麼?
共享鍵和值會稍微降低表示能力,導致品質小幅下降,但速度會大幅提升。
標準多頭注意力和 MQA 之間哪個變體?
分組查詢注意力(GQA)使用多個 KV 組而不是一個,平衡品質和速度。