テクニカルガイド
高帯域幅メモリ
高帯域幅メモリ (HBM) は、GPU のすぐ隣に配置されたスタック型メモリで、通常の RAM よりもはるかに高速にデータを配信します。
このガイドを聴くAIによるナレーション · ~2 min
概要
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
ディープダイブ
HBM は基本的なボトルネックを解決します。最新の AI チップは 1 秒あたり数兆回の操作を実行できますが、それはデータが十分に速く到着する場合に限られます。標準の GDDR メモリは比較的狭いバスを介して接続されますが、HBM は複数の DRAM ダイを垂直に積み重ね、シリコン貫通ビア (TSV) と呼ばれる数千の小さな垂直ワイヤでそれらを接続します。これらのスタックは GPU から数ミリメートル離れたシリコン インターポーザー上に配置され、非常に幅広いデータ パスを提供し、一度に数百ビットではなく数千ビットを処理します。その結果、帯域幅は 1 秒あたりのテラバイト単位で測定されます。 HBM2 から HBM2e、HBM3、HBM3e と世代が進み、それぞれの容量と速度の両方が向上しました。重みを継続的にストリーミングする必要がある大規模な言語モデルの場合、生のコンピューティングよりも HBM の容量と帯域幅が重要になることがよくあります。
現実世界の実装
大規模な言語モデルの数十ギガバイトまたは数百ギガバイトの重みを GPU の近くに保持して、各推論ステップ中にストリーミングできるようにします。
NVIDIA H100 および H200 データセンター GPU がトレーニング用に 1 秒あたり数テラバイトのメモリ帯域幅に到達できるようにします。
多くの GPU がそれぞれ HBM に依存する AI トレーニング クラスターを強化して、マトリックス演算間の停止を回避します。
巨大な活性化テンソルをメモリの内外に迅速に移動する必要がある高解像度の生成画像およびビデオ モデルをサポートします。
高帯域幅メモリの未来
メモリ帯域幅は現在、AI に対する主な制約となっているため、HBM は急速に進歩しています。 HBM3e は主力アクセラレータとして出荷されており、HBM4 の登場により、より広いインターフェイス、より高いスタック、およびパッケージあたりの容量の増加が期待されています。メモリとロジックの間の緊密な共同設計、おそらくカスタムベースのダイとメモリ付近の処理に加え、SK ハイニックス、サムスン、マイクロンなどのサプライヤー間の熾烈な競争が予想されます。モデルが成長するにつれて、より多くのデータをコンピューティングに近づけ、より速く、より低いエネルギーで取得することが、AI ハードウェアの進歩の中心であり続けます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is High Bandwidth Memory?
高帯域幅メモリ (HBM) は、GPU のすぐ隣に配置されたスタック型メモリで、通常の RAM よりもはるかに高速にデータを配信します。これは、AI アクセラレータに供給を継続し、モデルの重みとデータを待機している間に強力なコンピューティング コアがアイドル状態になるのを防ぎます。
高帯域幅メモリは AI アクセラレータにとってどのような主な問題に対処しますか?
AI チップは、データが十分に速く到着する場合にのみ、1 秒あたり数兆回の演算を実行できます。 HBM はコアが不足しないようにその帯域幅を提供します。
HBM は通常の GDDR メモリと物理的にどのように構築されていますか?
HBM は、DRAM ダイを互いに積み重ねて数千の垂直ワイヤ (TSV) でリンクし、非常に幅の広いデータ パスを作成します。
HBM は高帯域幅を実現するために主に何に依存していますか?
HBM はクロックを速くするのではなく、非常に幅広いインターフェイス (スタックあたり 1024 ビット以上) を公開するため、一度に多くのバイトが移動します。
HBM スタックが GPU のすぐ隣のシリコン インターポーザーに配置されているのはなぜですか?
共有インターポーザ上の短いワイヤにより、転送されるビットごとに必要なエネルギーが低減され、メモリとコンピューティング間の遅延が短縮されます。
特に大規模な言語モデルの場合、HBM が生のコンピューティングと同じくらい重要になるのはなぜでしょうか?
LLM 推論は大きな重み行列を継続的にストリーミングするため、多くの場合、計算スループットよりもメモリ容量と帯域幅が制限要因になります。