概述
它使用分塊(tiling)和線上 Softmax 來減少記憶體流量;速度和記憶體的提升取決於序列長度、硬體和實作方式。
深入探討
標準注意力機制會將每個 Token 與其他所有 Token 進行比較,產生一個隨序列長度呈二次方成長的 N×N 分數矩陣。在原始實作中,該矩陣會被寫入 GPU 高頻寬記憶體 (HBM) 並從中讀取,而這種傳輸過程(而非乘法運算)才是真正的瓶頸。由 Tri Dao 等人於 2022 年提出的 Flash Attention,重新組織了計算方式,使得矩陣無需被完整儲存。它將查詢 (Queries)、鍵 (Keys) 和值 (Values) 分成適合存放在晶片內高速 SRAM 的小區塊進行處理,計算部分結果,並利用線上執行 Softmax 的技巧將它們拼接起來。該演算法在執行相同注意力運算的同時,減少了高頻寬記憶體的流量和中間儲存需求。它通常能加快速度,特別是在處理長序列時,但實際的效能提升取決於 GPU、序列長度、資料類型 (dtype) 和實作方式。
現實世界的實施
以更低的記憶體成本訓練大型語言模型,例如 Llama 和 GPT 類系統,具有更長的上下文視窗。
透過加快首次閱讀長提示的預填階段,更快地為聊天助理提供服務。
透過在單一 GPU 上實現長序列注意力,啟用可擷取整本書或程式碼庫的文件分析工具。
為視覺和音頻變壓器提供動力,其中高解析度輸入創建非常長的令牌序列。
Flash 注意力的未來
FlashAttention-2 與 FlashAttention-3 的研究探索了改進的工作分割、非同步執行以及針對硬體的低精度路徑。結果取決於 GPU、序列長度、資料類型(dtype)與實作方式。這些演算法可以減少密集注意力機制的記憶體傳輸量,但並不會消除底層的查詢-鍵(query-key)配對運算。在假設會有加速效果之前,請務必針對實際的訓練或推論工作負載進行基準測試。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是Flash注意力?
Flash Attention 是一種具有 IO 感知能力的計算方式,可在不將完整注意力矩陣實體化至高頻寬記憶體(HBM)的情況下,計算出精確的注意力。它利用分塊與線上 Softmax 來減少記憶體傳輸;速度與記憶體的提升取決於序列長度、硬體與實作方式。
Flash Attention的主要瓶頸是什麼?
Flash Attention 具有 IO 感知能力:它減少了快速片上 SRAM 和慢速高頻寬記憶體之間傳輸的數據,這是真正的瓶頸,而不是演算法本身。
Flash Attention 如何避免儲存完整的 N×N 注意力矩陣?
它平鋪計算,因此每個區塊都適合快速 SRAM,計算和累積部分輸出,而無需在 HBM 中具體化整個矩陣。
什麼技術可以讓 Flash Attention 正確計算 softmax,而無需一次看到整行?
線上 softmax 在串流瓦片時保持運行最大值和運行分母,重新縮放早期的部分輸出,以便最終標準化是準確的。
為什麼 Flash Attention 對於長序列最有幫助?
樸素注意力矩陣在記憶體中以 N 平方縮放,因此當序列很長時,避免其完全儲存會產生最大的節省。
Flash Attention 的「IO 感知」設計優先考慮最小化什麼?
IO 感知意味著演算法是圍繞記憶體層次結構中移動資料的成本設計的,最大限度地減少 HBM 流量而不是算術運算。