テクニカルガイド
InfiniBand および RDMA ネットワーキング
InfiniBand はクラスタで使用される高速スイッチング相互接続であり、RDMA は登録されたメモリ バッファ間の直接転送をサポートします。
このガイドを聴くAIによるナレーション · ~2 min
概要
Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
ディープダイブ
Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.
現実世界の実装
AI スーパーコンピューターで数千の GPU を接続し、分散トレーニング中に勾配データがマイクロ秒単位でノード間を移動できるようにする
あるサーバーが別のサーバーのメモリを直接読み取る (RDMA) ことで、CPU オーバーヘッドを発生させずに分散ファイル システムとデータベースを高速化します。
InfiniBand を介して NCCL all-reduce 操作を実行して、GPU クラスター全体でモデルの重みを同期する
RoCE を使用して、RDMA スタイルの低遅延転送を既存のイーサネット データセンター ネットワークに実現
InfiniBand と RDMA ネットワーキングの将来
Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is InfiniBand and RDMA Networking?
InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
What does an RDMA-capable bulk data path aim to reduce?
RDMA offloads data movement but software still sets up and manages communication.
How can an RDMA-capable InfiniBand data path reduce bulk-transfer overhead?
RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.
NDR InfiniBand が提供するリンクごとの帯域幅はおおよそどれくらいですか?
A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an application’s effective transfer throughput.
RDMA では、「キュー ペア」は何に使用されますか?
アプリケーションはキュー (キュー ペア) を送信および受信するための作業リクエストをポストします。ホスト チャネル アダプタはそれらを読み取り、ダイレクト メモリ転送を実行します。
RoCEとは何ですか？
RoCE は RDMA over Converged Ethernet の略で、ネイティブ InfiniBand ではなく標準の Ethernet ファブリック上で低遅延のカーネル バイパス転送を可能にします。