概述
它們是單一 GPU 訓練和運行大型神經網路的速度比通用運算快幾個數量級的主要原因。
深入探討
Tensor Core 於 2017 年隨 Volta 架構一起推出,是一種專用電路,可在單一運算中計算小型矩陣乘法加加法 (D = A x B + C),而不是在標準 CUDA 核心上一次執行一個乘法。因為幾乎神經網路的每一層都簡化為矩陣乘法,這符合人工智慧實際需要的數學。每一代 GPU 都擴展了它們處理的功能:Volta 提供了 4x4 FP16 區塊,而後來的 Ampere、Hopper 和 Blackwell 架構則添加了較低精度的格式,如 TF32、BF16、INT8、FP8 和 FP4。較低的精度意味著每個時鐘處理更多的數字,從而顯著提高訓練和推理的吞吐量,同時保持可接受的精度。
現實世界的實施
訓練大型語言模型,例如 GPT 式 Transformer,其中每步在 BF16 或 FP8 中的 Tensor Core 上運行數十億次矩陣乘法。
為聊天機器人和影像產生器執行即時推理,使用 INT8 或 FP8 量化為每個 GPU 服務更多使用者。
加速電玩遊戲中的 NVIDIA DLSS,神經網路在每幀中使用 Tensor Core 來升級低解析度幀。
加速科學計算,例如蛋白質折疊 (AlphaFold) 和天氣模型,這些模型已被重新表述為矩陣繁重的神經工作負載。
張量核心的未來
Tensor Core 持續向更低的精度發展:Hopper 增加了 FP8,Blackwell 引入了具有硬體管理擴充功能的 4 位元 FP4,對於推理繁重的工作負載,每一步的吞吐量大致增加一倍。預計對稀疏性(跳過零權重)、將比例因子附加到小數字塊的微縮放格式以及與內存系統的更深入集成的更嚴格支持,以便內核保持供電。隨著模型的成長,矩陣引擎(而不是原始時脈速度)仍然是人工智慧硬體效能的核心戰場。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是張量核心?
張量核心是現代 NVIDIA GPU 內的專用硬體單元,可以極快地執行矩陣乘法和累加運算。它們是單一 GPU 訓練和運行大型神經網路的速度比通用運算快幾個數量級的主要原因。
Tensor Core 專門設計用於加速哪些核心數學運算?
Tensor Core 一步執行融合矩陣乘法加累加,這正是主導神經網路層的操作。
哪種 NVIDIA GPU 架構首先引入了 Tensor Core?
Tensor Core 於 2017 年隨 Volta 架構首次亮相,從 FP16 4x4 矩陣運算開始。
為什麼 Tensor Core 經常使用 FP16 或 FP8 等降低精度?
每個數字使用更少的位數意味著每個週期有更多的值流經硬件,從而大大提高了速度,而精度損失很小,通常是可以容忍的。
為了保持準確性,Tensor Core 通常使用什麼精確度來計算運行總和(累加)?
輸入的精度可能較低,但累加器通常以較高的精度(如 FP32)運行,以限制舍入誤差的累積。
像 PyTorch 这样的日常人工智能框架如何使用 Tensor Core?
底层库自动将大矩阵运算分解为 Tensor-Core 大小的图块,因此框架无需手动编码即可获得加速。