引導式測驗 · 硬 等級

Flash 注意力測驗

測試 FlashAttention 的 IO 感知分塊、線上 Softmax、精確注意力、序列縮放,以及記憶體流量與計算之間的差異。

相關引導路徑閃光注意
問題 1 的 8

Flash Attention的主要瓶頸是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Flash Attention的主要瓶頸是什麼?
    • 讀寫大型注意力矩陣會降低 GPU 記憶體速度
    • Attention中的浮點數乘法次數
    • 從磁碟載入模型權重的成本
    • 多個 GPU 之間的網路延遲
  2. Flash Attention 如何避免儲存完整的 N×N 注意力矩陣?
    • 它透過隨機預測來近似注意力
    • 它處理小塊中的查詢、鍵和值並組合部分結果
    • 它完全跳過大多數令牌對
    • 它透過量化壓縮矩陣
  3. 什麼技術可以讓 Flash Attention 正確計算 softmax,而無需一次看到整行?
    • 預先計算的指數查找表
    • 放棄 softmax 並使用線性近似
    • 追蹤運行最大值和總和的運行(線上)softmax
    • 標準化前將分數排序
  4. 與標準attention相比,Flash Attention的輸出為:
    • 以準確性換取速度的粗略近似值
    • 因為精度更高所以更準確
    • 僅對短序列有效
    • 數學上相同,只是計算效率更高
  5. 為什麼 Flash Attention 對於長序列最有幫助?
    • 因為注意力記憶隨序列長度呈二次方成長
    • 因為較長的序列需要較少的層數
    • 因為對於長輸入,softmax 變得不必要
    • 因為 GPU 在短序列上運行速度較慢
  6. Flash Attention 的「IO 感知」設計優先考慮最小化什麼?
    • 模型參數個數
    • SRAM 與 HBM 之間的記憶體讀寫
    • 神經網路的深度
    • 分詞器的詞彙量大小
  7. 即使 FlashAttention 減少了記憶體流量,對於稠密精確自注意力而言,哪部分在計算上仍然是二次方複雜度?
    • 模型層數必須加倍
    • 每個 Token 只與另一個 Token 進行比較
    • 查詢-鍵對的互動數量隨序列長度的平方增長
    • 模型參數數量變為零
  8. 為什麼 FlashAttention 的結果可能與參考實現略有不同,儘管它們計算的是相同的數學注意力?
    • 它故意丟棄所有長距離 Token
    • 它在推論期間改變模型權重
    • 它用隨機取樣取代 Softmax
    • 在分塊累加期間,浮點運算可能以不同的順序執行