VolgendeVolgende gids
Functie-engineeringpijplijnen en gegevensversiebeheer
Technisch
Technische GIDS
InfiniBand is een snelle, geschakelde interconnect die in clusters wordt gebruikt, en RDMA ondersteunt directe overdrachten tussen geregistreerde geheugenbuffers.
Luister naar deze gidsAI-verteld · ~2 min
Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.
Het verbinden van duizenden GPU's in een AI-supercomputer, zodat gradiëntgegevens tijdens gedistribueerde training in microseconden tussen knooppunten worden verplaatst
Door de ene server het geheugen van de andere rechtstreeks te laten lezen (RDMA) om gedistribueerde bestandssystemen en databases te versnellen zonder CPU-overhead
Voer NCCL-bewerkingen uit via InfiniBand om modelgewichten over een GPU-cluster te synchroniseren
RoCE gebruiken om RDMA-stijl overdrachten met lage latentie naar bestaande Ethernet-datacenternetwerken te brengen
Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
RDMA offloads data movement but software still sets up and manages communication.
RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.
A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an application’s effective transfer throughput.
Applicaties plaatsen werkverzoeken om wachtrijen (wachtrijparen) te verzenden en te ontvangen; de hostkanaaladapter leest ze en voert de directe geheugenoverdrachten uit.
RoCE staat voor RDMA over Converged Ethernet, waardoor overdrachten met lage latentie en kernel-bypass mogelijk zijn op standaard Ethernet-fabrics in plaats van native InfiniBand.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Functie-engineeringpijplijnen en gegevensversiebeheer
Technisch