高頻寬內存
高頻寬內存 (HBM) 是放置在 GPU 旁的堆疊內存，其傳輸資料的速度比普通 RAM 快得多。
概述
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
深入探討
HBM 解決了一個基本瓶頸：現代人工智慧晶片每秒可以執行數萬億次操作，但前提是資料到達得足夠快。標準 GDDR 記憶體透過相對較窄的匯流排連接，而 HBM 垂直堆疊多個 DRAM 晶片，並透過數千條稱為矽通孔 (TSV) 的微小垂直導線將它們連接起來。這些堆疊位於距離 GPU 幾毫米的矽中介層上，提供了極寬的資料路徑，可以同時處理數千位元而不是數百位元。結果是以每秒 TB 為單位測量的頻寬。從 HBM2 發展到 HBM2e、HBM3 和 HBM3e，每一代都提高了容量和速度。對於權重必須不斷傳輸的大型語言模型，HBM 容量和頻寬通常比原始計算更重要。
技術洞察
HBM 透過極端並行性而不是更高的時脈速率來實現其速度。透過堆疊 DRAM 晶片並將它們與數千個 TSV 連接起來，它公開了一個非常寬的介面（每個堆疊 1024 位元及以上），因此可以同時移動如此多的位元組。將堆疊放置在 GPU 旁的共享中介層上可以縮短接線，從而降低每位功耗和延遲。 NVIDIA H100 或 H200 等單一加速器可與多個 HBM 堆疊配對，以達到每秒數 TB 的總記憶體頻寬。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
高頻寬記憶體的未來
記憶體頻寬現在是 AI 的主要限制，因此 HBM 正在快速發展。 HBM3e 正在旗艦加速器中出貨，HBM4 即將推出，承諾更寬的介面、更高的堆疊以及每個封裝的更大容量。預計記憶體和邏輯之間將進行更緊密的協同設計，可能是客製化晶片和近距離記憶體處理，以及 SK 海力士、三星和美光等供應商之間的激烈競爭。隨著模型的成長，讓更多的數據更接近運算、更快、更低的能耗，仍然是人工智慧硬體進步的核心。
現實世界的實施
將大型語言模型的數十或數百 GB 的權重保存在靠近 GPU 的位置，以便可以在每個推理步驟中對它們進行串流傳輸。
使 NVIDIA H100 和 H200 資料中心 GPU 能夠達到每秒數 TB 的記憶體頻寬進行訓練。
為 AI 訓練集群提供支持，其中許多 GPU 都依賴 HBM 來避免矩陣運算之間的停滯。
支援必須將巨大的激活張量快速移入和移出內存的高分辨率生成圖像和視頻模型。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the High Bandwidth Memory quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is High Bandwidth Memory?
高頻寬內存 (HBM) 是放置在 GPU 旁的堆疊內存，其傳輸資料的速度比普通 RAM 快得多。它是保持人工智慧加速器運作的原因，防止強大的運算核心在等待模型權重和資料時閒置。
高頻寬記憶體為 AI 加速器解決的主要問題是什麼？
只有當資料到達足夠快時，人工智慧晶片才能每秒執行數萬億次操作； HBM 提供該頻寬，因此核心不會匱乏。
HBM 的物理構造與一般 GDDR 記憶體有何不同？
HBM 將 DRAM 晶片堆疊在一起，並透過數千條垂直線 (TSV) 將它們連接起來，從而創建非常寬的資料路徑。
HBM主要依靠什麼來實現其高頻寬？
HBM 並沒有提供更快的時脈速度，而是公開了一個非常寬的介面（每個堆疊 1024 位元及以上），因此可以同時移動許多位元組。
為什麼 HBM 堆疊放置在 GPU 旁邊的矽中介層上？
共享中介層上的短線降低了每個位元傳輸所需的能量，並減少了記憶體和運算之間的延遲。
特別是對於大型語言模型，為什麼 HBM 與原始計算一樣重要？
LLM 推理持續傳輸大型權重矩陣，因此記憶體容量和頻寬通常成為限制因素，而不是計算吞吐量。