技術指南

FP8 和低精度格式

FP8 是一種 8 位元浮點數格式,允許 AI 模型使用標準 32 位元數字四分之一的記憶體來儲存權重並運行數學。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. FP8 和低精度格式的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這是讓巨型模型更便宜、更快訓練和服務的關鍵技巧。

深入探討

神經網路由數十億個數字組成。傳統上,這些數字均使用 32 位元 (FP32) 或 16 位元 (FP16/BF16)。 FP8 將它們縮小到只有 8 位,與 16 位相比,記憶體和頻寬大約減少了一半。有兩種常見的 FP8 佈局:E4M3(4 個指數位,3 個尾數位)提供更高的精度,但範圍更小,而 E5M2(5 個指數,2 個尾數)提供更寬的範圍,但步長更粗。權衡是保真度:更少的位數意味著舍入誤差。為了保持準確性,框架應用每個張量或每個區塊的縮放因子,將數值重新調整到 FP8 的可用範圍。 NVIDIA 的 Hopper 和 Blackwell GPU 增加了硬體 FP8 矩陣引擎,使其適用於訓練和推理。 MXFP8、MXFP4 和 NVFP4 等較新的格式透過共享微縮放塊將效能推得更低。

現實世界的實施

A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.

An inference team checks weight, activation, and cache memory before selecting FP8 serving.

A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.

A deployment team evaluates supported four-bit formats against an accuracy and memory budget.

FP8 和低精度格式的未來

Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the FP8 and Low-Precision Formats quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 FP8 和低精度格式?

FP8 是一種 8 位元浮點數格式,允許 AI 模型使用標準 32 位元數字四分之一的記憶體來儲存權重並運行數學。這是讓巨型模型更便宜、更快訓練和服務的關鍵技巧。

與標準 FP32 數字相比,FP8 數字使用多少位元?

FP8 使用 8 位,而 FP32 使用 32 位,因此 FP8 佔用四分之一的儲存和頻寬。

「E4M3」和「E5M2」標籤描述了 FP8 格式的哪些內容?

E4M3表示4個指數位和3個尾數位; E5M2 表示 5 位指數和 2 位尾數。更多指數位擴大了範圍;更多尾數位可提高精度。

為什麼 FP8 管路會將縮放因子應用於張量?

由於指數位如此之少,大值會溢出,小值會下溢為零。在數學運算之前,縮放將張量重新縮放到 FP8 的可用視窗中。

使用 FP8 的主要缺點是什麼?

更少的位元意味著更粗糙的表示和更大的捨入誤差。這樣做的好處是記憶體和頻寬要少得多,並且支援的硬體上的數學運算速度更快。

哪一代 NVIDIA GPU 首先新增了 FP8 矩陣數學的專用硬體支援?

H100 等基於 Hopper 的 GPU 引入了 FP8 Tensor Core 支持,Blackwell 後來將其擴展到 FP4。