Rete InfiniBand e RDMA
InfiniBand è un'interconnessione ad alta velocità e bassa latenza che collega server e GPU in cluster AI e RDMA consente a una macchina di leggere o scrivere la memoria di un'altra senza coinvolgere la CPU.
Panoramica
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Immersione profonda
Quando si addestra un modello su migliaia di GPU, spesso è la rete a diventare il collo di bottiglia, non i chip. InfiniBand è una struttura commutata creata appositamente per questo: offre una larghezza di banda per collegamento di centinaia di gigabit al secondo (NDR funziona a 400 Gb/s) e una latenza su scala di microsecondi. Il suo trucco chiave è il Remote Direct Memory Access (RDMA), che sposta i dati direttamente tra la memoria di due nodi, bypassando il kernel del sistema operativo e le copie della CPU che rallentano il normale TCP/IP. Questo "bypass del kernel" libera i cicli della CPU e riduce la latenza. InfiniBand fornisce inoltre il controllo del flusso hardware per un tessuto senza perdite e gli switch Quantum di NVIDIA e gli adattatori ConnectX dominano i supercomputer AI. RoCE (RDMA over Converged Ethernet) offre vantaggi RDMA simili alle reti Ethernet.
Approfondimento tecnico
RDMA funziona tramite verbi e coppie di code. Un'applicazione invia richieste di lavoro per inviare e ricevere code; l'adattatore di rete (HCA) li legge e trasferisce i dati direttamente in regioni di memoria preregistrate e bloccate sull'host remoto. Poiché la scheda NIC gestisce il trasferimento nell'hardware e il kernel del sistema operativo viene bypassato, non vengono effettuate copie di dati e non vengono eseguite interruzioni della CPU per pacchetto per il trasferimento di massa. Il controllo del flusso basato sui crediti del livello di collegamento di InfiniBand previene l'overflow del buffer, rendendo il tessuto privo di perdite senza tempeste di ritrasmissione.
Impatto strategico
Costo e budget
Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
Decisioni più chiare
La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
Controllo di qualità
Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Il futuro di InfiniBand e della rete RDMA
La larghezza di banda continua a crescere: XDR InfiniBand punta a 800 Gb/s per collegamento, con roadmap verso 1,6 Tb/s. La concorrenza si sta intensificando man mano che l’Ultra Ethernet Consortium progetta Ethernet che corrisponde a InfiniBand per i carichi di lavoro di intelligenza artificiale e mentre l’in-network computing (SHARP) scarica la matematica collettiva negli switch stessi. Aspettatevi una più stretta integrazione tra GPU e rete, interconnessioni ottiche per ridurre i consumi e tessuti scalabili in cluster di centinaia di migliaia di acceleratori man mano che i modelli di frontiera crescono.
Implementazione nel mondo reale
Connessione di migliaia di GPU in un supercomputer AI in modo che i dati del gradiente si spostino tra i nodi in microsecondi durante l'addestramento distribuito
Consentire a un server di leggere direttamente la memoria di un altro (RDMA) per accelerare file system e database distribuiti senza sovraccarico della CPU
Esecuzione di operazioni di riduzione completa NCCL su InfiniBand per sincronizzare i pesi del modello in un cluster GPU
Utilizzo di RoCE per portare trasferimenti a bassa latenza in stile RDMA alle reti di data center Ethernet esistenti
Rischi e guardrail
L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Tabella di marcia per l'implementazione
Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
Benchmark in condizioni di carico e dati realistiche.
Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Funzionalità pipeline di ingegneria e controllo delle versioni dei dati
Domande frequenti
What is InfiniBand and RDMA Networking?
InfiniBand è un'interconnessione ad alta velocità e bassa latenza che collega server e GPU in cluster AI e RDMA consente a una macchina di leggere o scrivere la memoria di un'altra senza coinvolgere la CPU. Insieme costituiscono l'impianto idraulico che mantiene migliaia di GPU alimentate con dati durante l'addestramento di modelli di grandi dimensioni.
Cosa consente fondamentalmente RDMA a un computer di fare?
L'accesso diretto alla memoria remota sposta i dati direttamente tra la memoria di due nodi, bypassando il kernel del sistema operativo e le copie della CPU, riducendo così la latenza e liberando cicli della CPU.
Perché InfiniBand raggiunge una latenza molto più bassa rispetto alle normali reti TCP/IP?
Gli adattatori InfiniBand trasferiscono i dati direttamente da/verso la memoria bloccata nell'hardware e bypassano il kernel del sistema operativo, eliminando le interruzioni della CPU per pacchetto e le copie dei dati.
Quale larghezza di banda per collegamento fornisce approssimativamente NDR InfiniBand?
NDR (Next Data Rate) InfiniBand funziona a 400 Gb/s per collegamento, mentre XDR punta a 800 Gb/s nella prossima generazione.
In RDMA, a cosa servono le "coppie di code"?
Le applicazioni pubblicano richieste di lavoro per inviare e ricevere code (coppie di code); l'adattatore del canale host li legge ed esegue i trasferimenti diretti di memoria.
Cos'è il RoCE?
RoCE sta per RDMA over Converged Ethernet, che consente trasferimenti a bassa latenza e con bypass del kernel su strutture Ethernet standard invece che su InfiniBand nativo.