InfiniBand a RDMA Networking
InfiniBand je vysokorychlostní propojení s nízkou latencí, které propojuje servery a GPU v klastrech AI a RDMA umožňuje jednomu počítači číst nebo zapisovat paměť jiného počítače bez zapojení CPU.
Přehled
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Hluboký ponor
Když trénujete model na tisících GPU, často se stává úzkým hrdlem síť, nikoli čipy. InfiniBand je přepínaná tkanina určená k tomuto účelu: nabízí šířku pásma na jeden odkaz v řádu stovek gigabitů za sekundu (NDR běží rychlostí 400 Gb/s) a latenci v mikrosekundách. Jeho klíčovým trikem je Remote Direct Memory Access (RDMA), který přesouvá data přímo mezi pamětí dvou uzlů, čímž obchází jádro operačního systému a kopie CPU, které zpomalují běžný TCP/IP. Toto „obcházení jádra“ uvolňuje cykly CPU a zkracuje latenci. InfiniBand také poskytuje hardwarové řízení toku pro bezztrátovou strukturu a superpočítačům s umělou inteligencí dominují přepínače NVIDIA Quantum plus adaptéry ConnectX. RoCE (RDMA over Converged Ethernet) přináší podobné výhody RDMA jako ethernetové sítě.
Technický přehled
RDMA funguje prostřednictvím sloves a dvojic fronty. Aplikace odesílá pracovní požadavky na odesílání a přijímání front; síťový adaptér (HCA) je čte a přenáší data přímo do předem registrovaných oblastí paměti na vzdáleném hostiteli. Protože síťová karta zajišťuje přenos v hardwaru a jádro operačního systému je vynecháno, nedochází k nulovým kopiím dat a žádnému přerušení CPU na paket pro hromadný přenos. Řízení toku založené na kreditní vrstvě InfiniBandu zabraňuje přetečení vyrovnávací paměti, díky čemuž je tkanina bezeztrátová bez bouří opakovaného přenosu.
Strategický dopad
Cena a rozpočet
Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
Jasnější rozhodnutí
Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
Kontrola kvality
Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.
Budoucnost sítí InfiniBand a RDMA
Šířka pásma neustále roste: XDR InfiniBand cílí na 800 Gb/s na odkaz, s plány směrem k 1,6 Tb/s. Konkurence se stupňuje, protože konsorcium Ultra Ethernet navrhuje Ethernet, který odpovídá InfiniBand pro pracovní zátěže AI, a protože in-network computing (SHARP) přenáší kolektivní matematiku do samotných přepínačů. S růstem hraničních modelů očekávejte těsnější integraci GPU do sítě, optická propojení pro snížení energie a struktury škálované na shluky stovek tisíc akcelerátorů.
Real-World Implementace
Propojení tisíců GPU v superpočítači s umělou inteligencí, aby se gradientová data během distribuovaného tréninku pohybovala mezi uzly v mikrosekundách
Nechat jeden server přímo číst paměť druhého (RDMA), aby se urychlily distribuované systémy souborů a databáze bez zatížení CPU
Spuštění NCCL zcela redukuje operace přes InfiniBand pro synchronizaci modelových vah v clusteru GPU
Použití RoCE pro přenosy ve stylu RDMA s nízkou latencí do stávajících sítí datových center Ethernet
Rizika a zábradlí
Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
Náklady na infrastrukturu a údržbu jsou často podceňovány.
Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.
Plán implementace
Před implementací definujte cíle latence, kvality a nákladů.
Benchmark za realistických podmínek zatížení a dat.
Monitorování chyb, posunu a dopadu na uživatele.
Před škálováním připravte cesty vrácení zpět a reakce na incidenty.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Pipelines a verzování dat
Často kladené otázky
What is InfiniBand and RDMA Networking?
InfiniBand je vysokorychlostní propojení s nízkou latencí, které propojuje servery a GPU v klastrech AI a RDMA umožňuje jednomu počítači číst nebo zapisovat paměť jiného počítače bez zapojení CPU. Společně jsou to potrubí, které udržuje tisíce GPU napájených daty během školení velkých modelů.
Co RDMA zásadně umožňuje jednomu počítači?
Vzdálený přímý přístup do paměti přesouvá data přímo mezi pamětí dvou uzlů, obchází jádro operačního systému a kopie CPU, což snižuje latenci a uvolňuje cykly CPU.
Proč InfiniBand dosahuje mnohem nižší latence než běžné TCP/IP sítě?
Adaptéry InfiniBand přenášejí data přímo do/z připojené paměti v hardwaru a obcházejí jádro operačního systému, čímž eliminují přerušení procesoru na paket a kopie dat.
Přibližně jakou šířku pásma na odkaz poskytuje NDR InfiniBand?
NDR (Next Data Rate) InfiniBand běží rychlostí 400 Gb/s na spoj, přičemž XDR cílí na 800 Gb/s v příští generaci.
K čemu se v RDMA používají „páry front“?
Aplikace zasílají pracovní požadavky na odesílání a přijímání front (páry front); adaptér hostitelského kanálu je čte a provádí přímé přenosy paměti.
Co je RoCE?
RoCE je zkratka pro RDMA over Converged Ethernet, což umožňuje přenosy s nízkou latencí a vynecháním jádra na standardních ethernetových tkaninách namísto nativního InfiniBand.