引導式測驗 · 硬 等級
Flash 注意力測驗
測試 FlashAttention 的 IO 感知分塊、線上 Softmax、精確注意力、序列縮放,以及記憶體流量與計算之間的差異。
問題 1 的 8
Flash Attention的主要瓶頸是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Flash Attention的主要瓶頸是什麼?
- 讀寫大型注意力矩陣會降低 GPU 記憶體速度
- Attention中的浮點數乘法次數
- 從磁碟載入模型權重的成本
- 多個 GPU 之間的網路延遲
- Flash Attention 如何避免儲存完整的 N×N 注意力矩陣?
- 它透過隨機預測來近似注意力
- 它處理小塊中的查詢、鍵和值並組合部分結果
- 它完全跳過大多數令牌對
- 它透過量化壓縮矩陣
- 什麼技術可以讓 Flash Attention 正確計算 softmax,而無需一次看到整行?
- 預先計算的指數查找表
- 放棄 softmax 並使用線性近似
- 追蹤運行最大值和總和的運行(線上)softmax
- 標準化前將分數排序
- 與標準attention相比,Flash Attention的輸出為:
- 以準確性換取速度的粗略近似值
- 因為精度更高所以更準確
- 僅對短序列有效
- 數學上相同,只是計算效率更高
- 為什麼 Flash Attention 對於長序列最有幫助?
- 因為注意力記憶隨序列長度呈二次方成長
- 因為較長的序列需要較少的層數
- 因為對於長輸入,softmax 變得不必要
- 因為 GPU 在短序列上運行速度較慢
- Flash Attention 的「IO 感知」設計優先考慮最小化什麼?
- 模型參數個數
- SRAM 與 HBM 之間的記憶體讀寫
- 神經網路的深度
- 分詞器的詞彙量大小
- 即使 FlashAttention 減少了記憶體流量,對於稠密精確自注意力而言,哪部分在計算上仍然是二次方複雜度?
- 模型層數必須加倍
- 每個 Token 只與另一個 Token 進行比較
- 查詢-鍵對的互動數量隨序列長度的平方增長
- 模型參數數量變為零
- 為什麼 FlashAttention 的結果可能與參考實現略有不同,儘管它們計算的是相同的數學注意力?
- 它故意丟棄所有長距離 Token
- 它在推論期間改變模型權重
- 它用隨機取樣取代 Softmax
- 在分塊累加期間,浮點運算可能以不同的順序執行