Jaringan InfiniBand dan RDMA
InfiniBand adalah interkoneksi berkecepatan tinggi dan latensi rendah yang menghubungkan server dan GPU dalam cluster AI, dan RDMA memungkinkan satu mesin membaca atau menulis memori orang lain tanpa melibatkan CPU.
Ikhtisar
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Menyelam Lebih Dalam
Saat Anda melatih model di ribuan GPU, jaringan sering kali menjadi penghambat, bukan chipnya. InfiniBand adalah switch fabric yang dibuat khusus untuk hal ini: ia menawarkan bandwidth per-link dalam ratusan gigabit per detik (NDR berjalan pada 400 Gb/s) dan latensi skala mikrodetik. Trik utamanya adalah Remote Direct Memory Access (RDMA), yang memindahkan data secara langsung antara memori dua node, melewati kernel sistem operasi dan salinan CPU yang memperlambat TCP/IP biasa. 'Kernel bypass' ini membebaskan siklus CPU dan memangkas latensi. InfiniBand juga menyediakan kontrol aliran perangkat keras untuk fabric lossless, dan sakelar Quantum NVIDIA plus adaptor ConnectX mendominasi superkomputer AI. RoCE (RDMA over Converged Ethernet) menghadirkan manfaat RDMA serupa ke jaringan Ethernet.
Wawasan Teknis
RDMA bekerja melalui pasangan kata kerja dan antrian. Sebuah aplikasi memposting permintaan kerja untuk mengirim dan menerima antrian; adaptor jaringan (HCA) membacanya dan mentransfer data langsung ke wilayah memori yang telah didaftarkan dan disematkan pada host jarak jauh. Karena NIC menangani transfer perangkat keras dan kernel OS dilewati, tidak ada salinan data dan tidak ada interupsi CPU per paket untuk transfer massal. Kontrol aliran berbasis kredit lapisan tautan InfiniBand mencegah buffer overflow, membuat fabric tidak hilang tanpa badai transmisi ulang.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Jaringan InfiniBand dan RDMA
Bandwidth terus meningkat: XDR InfiniBand menargetkan 800 Gb/s per link, dengan peta jalan menuju 1,6 Tb/s. Persaingan semakin ketat ketika Konsorsium Ultra Ethernet merancang Ethernet yang cocok dengan InfiniBand untuk beban kerja AI, dan ketika komputasi dalam jaringan (SHARP) memindahkan matematika kolektif ke dalam switch itu sendiri. Harapkan integrasi GPU-ke-jaringan yang lebih erat, interkoneksi optik untuk memangkas daya, dan skala fabric ke cluster yang terdiri dari ratusan ribu akselerator seiring dengan berkembangnya model terdepan.
Implementasi Dunia Nyata
Menghubungkan ribuan GPU dalam superkomputer AI sehingga data gradien berpindah antar node dalam hitungan mikrodetik selama pelatihan terdistribusi
Membiarkan satu server membaca memori orang lain secara langsung (RDMA) untuk mempercepat sistem file dan database terdistribusi tanpa overhead CPU
Menjalankan operasi pengurangan semua NCCL melalui InfiniBand untuk menyinkronkan bobot model di seluruh cluster GPU
Menggunakan RoCE untuk menghadirkan transfer latensi rendah gaya RDMA ke jaringan pusat data Ethernet yang ada
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Fitur Engineering Pipeline dan Pembuatan Versi Data
Pertanyaan yang sering diajukan
What is InfiniBand and RDMA Networking?
InfiniBand adalah interkoneksi berkecepatan tinggi dan latensi rendah yang menghubungkan server dan GPU dalam cluster AI, dan RDMA memungkinkan satu mesin membaca atau menulis memori orang lain tanpa melibatkan CPU. Bersama-sama, mereka adalah saluran yang menjaga ribuan GPU tetap menerima data selama pelatihan model besar.
Apa yang pada dasarnya dapat dilakukan oleh RDMA pada satu komputer?
Akses Memori Langsung Jarak Jauh memindahkan data langsung antara memori dua node, melewati kernel OS dan salinan CPU, sehingga memotong latensi dan membebaskan siklus CPU.
Mengapa InfiniBand mencapai latensi yang jauh lebih rendah dibandingkan jaringan TCP/IP biasa?
Adaptor InfiniBand mentransfer data secara langsung ke/dari memori yang disematkan di perangkat keras dan melewati kernel OS, menghilangkan interupsi CPU per paket dan salinan data.
Kira-kira berapa bandwidth per link yang disediakan NDR InfiniBand?
NDR (Next Data Rate) InfiniBand berjalan pada 400 Gb/s per link, dengan XDR menargetkan 800 Gb/s pada generasi berikutnya.
Di RDMA, 'pasangan antrian' digunakan untuk apa?
Aplikasi posting permintaan kerja untuk mengirim dan menerima antrian (pasangan antrian); adaptor saluran host membacanya dan melakukan transfer memori langsung.
Apa itu RoCE?
RoCE adalah singkatan dari RDMA over Converged Ethernet, memungkinkan transfer kernel-bypass latensi rendah pada fabric Ethernet standar, bukan InfiniBand asli.