テクニカルガイド
NVLink と GPU インターコネクト
NVLink と関連するインターコネクトは、多くの GPU が直接かつ迅速に相互に通信できるようにする高速リンクです。
このガイドを聴くAIによるナレーション · ~2 min
概要
They are essential because training and serving the largest AI models requires hundreds or thousands of GPUs to act like one giant accelerator.
ディープダイブ
単一の GPU では最大のモデルを保持できないため、モデルは多くのチップに分割され、重み、勾配、アクティベーションなどのデータを常に交換する必要があります。標準の PCIe バスではこれには遅すぎるため、NVIDIA は、はるかに高い帯域幅と低い遅延を提供する GPU 間の直接リンクである NVLink を作成しました。 NVSwitch チップはこれをファブリックに拡張し、サーバー内のすべての GPU が他のすべての GPU にフルスピードでアクセスできるようにし、8 つの GPU を 1 つの大きなメモリおよびコンピューティング プールに変えます。ラックスケールでは、NVIDIA の NVL72 のようなシステムは、統合された NVLink ドメインを介して数十の GPU を接続します。単一のラックを超えて、InfiniBand やイーサネット (多くの場合 RDMA を使用) などのネットワーキング テクノロジーにより、数千のノードが 1 つのクラスターに結合されます。これらの相互接続の品質は、モデルをトレーニングできる規模と速度を直接制限します。
現実世界の実装
単一サーバー (NVIDIA DGX システムなど) 内の 8 つの GPU を NVSwitch 経由で接続し、メモリを共有して 1 つの大きなモデルを一緒にトレーニングします。
分散トレーニング中に GPU 全体で All-Reduce 勾配同期を実行し、NVLink 帯域幅によって高速化されます。
ラックスケール NVL72 システム内の数十の GPU を 1 つの統合 NVLink ドメインにリンクして、兆パラメータ モデルを実現します。
大規模な基盤モデルのトレーニングのために、InfiniBand または RDMA-over-Ethernet を使用して、数千の GPU サーバーをクラスターに結合します。
NVLink と GPU インターコネクトの将来
モデルが単一サーバーを超えて成長するにつれて、相互接続がシステムになりつつあります。 NVLink は世代ごとに帯域幅を獲得し続けており、ラックスケールの NVLink ドメイン (NVL72 など) では、1 つとして動作する GPU の数が増加しています。より大きな統合ドメイン、コンピューティングとネットワーキングのより緊密な結合、距離に応じた消費電力を削減するための光リンク、および独自のファブリックに匹敵するオープンな相互接続規格 (UALink など) に向けた業界の取り組みが期待されます。 AI のスケーリングは、チップ自体だけでなく、チップ間でのデータの移動にもますます依存しています。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is NVLink and GPU Interconnects?
NVLink と関連するインターコネクトは、多くの GPU が直接かつ迅速に相互に通信できるようにする高速リンクです。最大の AI モデルをトレーニングして提供するには、1 つの巨大なアクセラレータのように機能する数百または数千の GPU が必要となるため、これらは不可欠です。
大規模な AI モデルに NVLink のような高速インターコネクトが必要なのはなぜですか?
大規模なモデルは単一の GPU の容量を超えるため、重み、勾配、アクティベーションを継続的に共有する多くのチップに分散され、高速リンクが必要になります。
NVLink は、GPU 間通信において標準の PCIe バスに比べてどのような利点がありますか?
NVLink は、PCIe よりもはるかに広い帯域幅と低い遅延を備えた GPU 間の直接リンクであり、チップ間の高速なデータ交換を可能にします。
マルチ GPU サーバーにおける NVSwitch の役割は何ですか?
NVSwitch は、NVLink をノンブロッキング ファブリックに拡張し、ノード内のすべての GPU がフルスピードで相互に通信できるようにします。
分散トレーニングで一般的な、高速相互接続から大きな恩恵を受ける集合操作はどれですか?
All-reduce は各トレーニング ステップで合計をすべての GPU にわたって共有し、勾配を共有するため、その速度は相互接続の帯域幅に大きく依存します。
単一サーバーを超えて、通常、数千の GPU ノードを 1 つのクラスターに接続するテクノロジーは何ですか?
クラスター規模では、InfiniBand や RDMA を備えたイーサネットなどのネットワーキングが多くのノードを結び付け、各サーバー内の NVLink を補完します。