概述
這是讓巨型模型更便宜、更快訓練和服務的關鍵技巧。
深入探討
神經網路由數十億個數字組成。傳統上,這些數字均使用 32 位元 (FP32) 或 16 位元 (FP16/BF16)。 FP8 將它們縮小到只有 8 位,與 16 位相比,記憶體和頻寬大約減少了一半。有兩種常見的 FP8 佈局:E4M3(4 個指數位,3 個尾數位)提供更高的精度,但範圍更小,而 E5M2(5 個指數,2 個尾數)提供更寬的範圍,但步長更粗。權衡是保真度:更少的位數意味著舍入誤差。為了保持準確性,框架應用每個張量或每個區塊的縮放因子,將數值重新調整到 FP8 的可用範圍。 NVIDIA 的 Hopper 和 Blackwell GPU 增加了硬體 FP8 矩陣引擎,使其適用於訓練和推理。 MXFP8、MXFP4 和 NVFP4 等較新的格式透過共享微縮放塊將效能推得更低。
現實世界的實施
A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.
An inference team checks weight, activation, and cache memory before selecting FP8 serving.
A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.
A deployment team evaluates supported four-bit formats against an accuracy and memory budget.
FP8 和低精度格式的未來
Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 FP8 和低精度格式?
FP8 是一種 8 位元浮點數格式,允許 AI 模型使用標準 32 位元數字四分之一的記憶體來儲存權重並運行數學。這是讓巨型模型更便宜、更快訓練和服務的關鍵技巧。
與標準 FP32 數字相比,FP8 數字使用多少位元?
FP8 使用 8 位,而 FP32 使用 32 位,因此 FP8 佔用四分之一的儲存和頻寬。
「E4M3」和「E5M2」標籤描述了 FP8 格式的哪些內容?
E4M3表示4個指數位和3個尾數位; E5M2 表示 5 位指數和 2 位尾數。更多指數位擴大了範圍;更多尾數位可提高精度。
為什麼 FP8 管路會將縮放因子應用於張量?
由於指數位如此之少,大值會溢出,小值會下溢為零。在數學運算之前,縮放將張量重新縮放到 FP8 的可用視窗中。
使用 FP8 的主要缺點是什麼?
更少的位元意味著更粗糙的表示和更大的捨入誤差。這樣做的好處是記憶體和頻寬要少得多,並且支援的硬體上的數學運算速度更快。
哪一代 NVIDIA GPU 首先新增了 FP8 矩陣數學的專用硬體支援?
H100 等基於 Hopper 的 GPU 引入了 FP8 Tensor Core 支持,Blackwell 後來將其擴展到 FP4。