āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļĩāđāļāļāļĢāđāđāļāļāđāđāļĨāļāđāļāļēāļāļ§āļīāļĻāļ§āļāļĢāļĢāļĄāđāļĨāļ°āļāļēāļĢāļāļģāļŦāļāļāđāļ§āļāļĢāđāļāļąāļāļāđāļāļĄāļđāļĨ
āđāļāļāļāļīāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
InfiniBand āļāļ·āļāļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāđāļāļāļŠāļ§āļīāļāļāđāļāļ§āļēāļĄāđāļĢāđāļ§āļŠāļđāļāļāļĩāđāđāļāđāđāļāļāļĨāļąāļŠāđāļāļāļĢāđ āđāļĨāļ° RDMA āļĢāļāļāļĢāļąāļāļāļēāļĢāļāđāļēāļĒāđāļāļāđāļāļĒāļāļĢāļāļĢāļ°āļŦāļ§āđāļēāļāļāļąāļāđāļāļāļĢāđāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļĩāđāļĨāļāļāļ°āđāļāļĩāļĒāļāđāļ§āđ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.
āļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļ GPU āļŦāļĨāļēāļĒāļāļąāļāļāļąāļ§āđāļāļāļđāđāļāļāļĢāđāļāļāļĄāļāļīāļ§āđāļāļāļĢāđ AI āđāļāļ·āđāļāđāļŦāđāļāđāļāļĄāļđāļĨāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļĢāļ°āļŦāļ§āđāļēāļāđāļŦāļāļāđāļāļŦāļāđāļ§āļĒāđāļĄāđāļāļĢāļ§āļīāļāļēāļāļĩāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļāļķāļāđāļāļāļāļĢāļ°āļāļēāļĒ
āļāļĨāđāļāļĒāđāļŦāđāđāļāļīāļĢāđāļāđāļ§āļāļĢāđāļŦāļāļķāđāļāļāđāļēāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāļāļāļāļĩāļāđāļāļĢāļ·āđāļāļāļŦāļāļķāđāļāđāļāļĒāļāļĢāļ (RDMA) āđāļāļ·āđāļāđāļĢāđāļāļĢāļ°āļāļāđāļāļĨāđāđāļĨāļ°āļāļēāļāļāđāļāļĄāļđāļĨāđāļāļāļāļĢāļ°āļāļēāļĒāđāļāļĒāđāļĄāđāļĄāļĩāļāđāļēāđāļāđāļāđāļēāļĒāļāļāļ CPU
āļāļēāļĢāļĢāļąāļ NCCL āđāļāļāļĨāļāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢāļāļąāđāļāļŦāļĄāļāļāļ InfiniBand āđāļāļ·āđāļāļāļīāļāđāļāļĢāđāļāļāđāļāđāļģāļŦāļāļąāļāđāļĄāđāļāļĨāļāļąāđāļ§āļāļąāđāļāļāļĨāļąāļŠāđāļāļāļĢāđ GPU
āļāļēāļĢāđāļāđ RoCE āđāļāļ·āđāļāļāļģāļāļēāļĢāļāđāļēāļĒāđāļāļāđāļ§āļĨāļēāđāļāļāļāđāļģāđāļāļ RDMA āđāļāļĒāļąāļāđāļāļĢāļ·āļāļāđāļēāļĒāļĻāļđāļāļĒāđāļāđāļāļĄāļđāļĨāļāļĩāđāļāļāļĢāđāđāļāđāļāļāļĩāđāļĄāļĩāļāļĒāļđāđ
Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
RDMA offloads data movement but software still sets up and manages communication.
RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.
A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an applicationâs effective transfer throughput.
āđāļāļāļāļĨāļīāđāļāļāļąāļāđāļāļŠāļāđāļāļģāļāļāļāļģāļāļēāļāđāļāļ·āđāļāļŠāđāļāđāļĨāļ°āļĢāļąāļāļāļīāļ§ (āļāļđāđāļāļīāļ§) āļāļ°āđāļāļāđāļāļāļĢāđāļāđāļāļāđāļŪāļŠāļāđāļāļ°āļāđāļēāļāđāļĨāļ°āļāļģāđāļāļīāļāļāļēāļĢāļāđāļēāļĒāđāļāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāđāļāļĒāļāļĢāļ
RoCE āļĒāđāļāļĄāļēāļāļēāļ RDMA āļāđāļēāļ Converged Ethernet āļāļķāđāļāđāļŦāđāđāļ§āļĨāļēāđāļāļāļāđāļģ āļāļēāļĢāļāđāļēāļĒāđāļāļāđāļāļāļĢāđāđāļāļĨāļāļēāļĒāļāļēāļŠāļāļāļāļĩāđāļāļāļĢāđāđāļāđāļāđāļāļāļĢāļīāļāļĄāļēāļāļĢāļāļēāļ āđāļāļāļāļĩāđāļāļ°āđāļāđāļ InfiniBand āļāļąāđāļāđāļāļīāļĄ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļĩāđāļāļāļĢāđāđāļāļāđāđāļĨāļāđāļāļēāļāļ§āļīāļĻāļ§āļāļĢāļĢāļĄāđāļĨāļ°āļāļēāļĢāļāļģāļŦāļāļāđāļ§āļāļĢāđāļāļąāļāļāđāļāļĄāļđāļĨ
āđāļāļāļāļīāļ