技術指南

閃光注意

FlashAttention 是一種具備 IO 感知能力的計算方式,無需在高頻寬記憶體中實作完整的注意力矩陣即可計算精確的注意力。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Flash 注意力的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它使用分塊(tiling)和線上 Softmax 來減少記憶體流量;速度和記憶體的提升取決於序列長度、硬體和實作方式。

深入探討

標準注意力機制會將每個 Token 與其他所有 Token 進行比較,產生一個隨序列長度呈二次方成長的 N×N 分數矩陣。在原始實作中,該矩陣會被寫入 GPU 高頻寬記憶體 (HBM) 並從中讀取,而這種傳輸過程(而非乘法運算)才是真正的瓶頸。由 Tri Dao 等人於 2022 年提出的 Flash Attention,重新組織了計算方式,使得矩陣無需被完整儲存。它將查詢 (Queries)、鍵 (Keys) 和值 (Values) 分成適合存放在晶片內高速 SRAM 的小區塊進行處理,計算部分結果,並利用線上執行 Softmax 的技巧將它們拼接起來。該演算法在執行相同注意力運算的同時,減少了高頻寬記憶體的流量和中間儲存需求。它通常能加快速度,特別是在處理長序列時,但實際的效能提升取決於 GPU、序列長度、資料類型 (dtype) 和實作方式。

現實世界的實施

以更低的記憶體成本訓練大型語言模型,例如 Llama 和 GPT 類系統,具有更長的上下文視窗。

透過加快首次閱讀長提示的預填階段,更快地為聊天助理提供服務。

透過在單一 GPU 上實現長序列注意力,啟用可擷取整本書或程式碼庫的文件分析工具。

為視覺和音頻變壓器提供動力,其中高解析度輸入創建非常長的令牌序列。

Flash 注意力的未來

FlashAttention-2 與 FlashAttention-3 的研究探索了改進的工作分割、非同步執行以及針對硬體的低精度路徑。結果取決於 GPU、序列長度、資料類型(dtype)與實作方式。這些演算法可以減少密集注意力機制的記憶體傳輸量,但並不會消除底層的查詢-鍵(query-key)配對運算。在假設會有加速效果之前,請務必針對實際的訓練或推論工作負載進行基準測試。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Flash Attention 測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是Flash注意力?

Flash Attention 是一種具有 IO 感知能力的計算方式,可在不將完整注意力矩陣實體化至高頻寬記憶體(HBM)的情況下,計算出精確的注意力。它利用分塊與線上 Softmax 來減少記憶體傳輸;速度與記憶體的提升取決於序列長度、硬體與實作方式。

Flash Attention的主要瓶頸是什麼?

Flash Attention 具有 IO 感知能力:它減少了快速片上 SRAM 和慢速高頻寬記憶體之間傳輸的數據,這是真正的瓶頸,而不是演算法本身。

Flash Attention 如何避免儲存完整的 N×N 注意力矩陣?

它平鋪計算,因此每個區塊都適合快速 SRAM,計算和累積部分輸出,而無需在 HBM 中具體化整個矩陣。

什麼技術可以讓 Flash Attention 正確計算 softmax,而無需一次看到整行?

線上 softmax 在串流瓦片時保持運行最大值和運行分母,重新縮放早期的部分輸出,以便最終標準化是準確的。

為什麼 Flash Attention 對於長序列最有幫助?

樸素注意力矩陣在記憶體中以 N 平方縮放,因此當序列很長時,避免其完全儲存會產生最大的節省。

Flash Attention 的「IO 感知」設計優先考慮最小化什麼?

IO 感知意味著演算法是圍繞記憶體層次結構中移動資料的成本設計的,最大限度地減少 HBM 流量而不是算術運算。