Rangkaian InfiniBand dan RDMA
InfiniBand ialah sambungan berkelajuan tinggi, kependaman rendah yang memautkan pelayan dan GPU dalam kelompok AI, dan RDMA membenarkan satu mesin membaca atau menulis memori yang lain tanpa melibatkan CPU.
Gambaran keseluruhan
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Menyelam dalam
Apabila anda melatih model merentas beribu-ribu GPU, rangkaian sering menjadi hambatan, bukan cip. InfiniBand ialah fabrik tersuis yang dibina khas untuk ini: ia menawarkan lebar jalur setiap pautan dalam ratusan gigabit sesaat (NDR berjalan pada 400 Gb/s) dan kependaman skala mikrosaat. Helah utamanya ialah Akses Memori Langsung Jauh (RDMA), yang menggerakkan data terus antara memori dua nod, memintas kernel sistem pengendalian dan salinan CPU yang memperlahankan TCP/IP biasa. 'Pintas kernel' ini membebaskan kitaran CPU dan mengurangkan kependaman. InfiniBand juga menyediakan kawalan aliran perkakasan untuk fabrik tanpa kerugian, dan suis Kuantum NVIDIA serta penyesuai ConnectX mendominasi superkomputer AI. RoCE (RDMA over Converged Ethernet) membawa faedah RDMA yang serupa kepada rangkaian Ethernet.
Wawasan Teknikal
RDMA berfungsi melalui kata kerja dan pasangan baris gilir. Permohonan menyiarkan permintaan kerja untuk menghantar dan menerima baris gilir; penyesuai rangkaian (HCA) membacanya dan memindahkan data terus ke kawasan memori yang telah dipradaftarkan dan disematkan pada hos jauh. Oleh kerana NIC mengendalikan pemindahan dalam perkakasan dan kernel OS dipintas, terdapat sifar salinan data dan tiada gangguan CPU setiap paket untuk pemindahan pukal. Kawalan aliran berasaskan kredit lapisan pautan InfiniBand menghalang limpahan penimbal, menjadikan fabrik tidak hilang tanpa ribut penghantaran semula.
Kesan Strategik
Kos dan bajet
Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
Keputusan yang lebih jelas
Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
Kawalan kualiti
Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Masa Depan InfiniBand dan Rangkaian RDMA
Lebar jalur terus meningkat: XDR InfiniBand menyasarkan 800 Gb/s setiap pautan, dengan peta jalan ke arah 1.6 Tb/s. Persaingan semakin sengit apabila Konsortium Ultra Ethernet mereka bentuk Ethernet yang sepadan dengan InfiniBand untuk beban kerja AI, dan kerana pengkomputeran dalam rangkaian (SHARP) memuatkan matematik kolektif ke dalam suis itu sendiri. Jangkakan penyepaduan GPU-ke-rangkaian yang lebih ketat, sambung optik untuk mengurangkan kuasa, dan fabrik yang berskala kepada kumpulan ratusan ribu pemecut apabila model sempadan berkembang.
Pelaksanaan Dunia Sebenar
Menyambungkan beribu-ribu GPU dalam superkomputer AI supaya data kecerunan bergerak antara nod dalam mikrosaat semasa latihan yang diedarkan
Membenarkan satu pelayan membaca memori orang lain secara langsung (RDMA) untuk mempercepatkan sistem fail dan pangkalan data yang diedarkan tanpa overhed CPU
Menjalankan operasi pengurangan semua NCCL ke atas InfiniBand untuk menyegerakkan berat model merentas kluster GPU
Menggunakan RoCE untuk membawa pemindahan kependaman rendah gaya RDMA ke rangkaian pusat data Ethernet sedia ada
Risiko & Pengawal
Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Hala Tuju Pelaksanaan
Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
Penanda aras di bawah beban realistik dan keadaan data.
Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Ciri Saluran Paip Kejuruteraan dan Versi Data
Soalan lazim
What is InfiniBand and RDMA Networking?
InfiniBand ialah sambungan berkelajuan tinggi, kependaman rendah yang memautkan pelayan dan GPU dalam kelompok AI, dan RDMA membenarkan satu mesin membaca atau menulis memori yang lain tanpa melibatkan CPU. Bersama-sama mereka adalah paip yang memastikan beribu-ribu GPU diberi makan dengan data semasa latihan model besar.
Apakah yang secara asasnya RDMA membenarkan satu komputer lakukan?
Akses Memori Terus Jauh mengalihkan data terus antara memori dua nod, memintas kernel OS dan salinan CPU, yang mengurangkan kependaman dan membebaskan kitaran CPU.
Mengapakah InfiniBand mencapai kependaman yang jauh lebih rendah daripada rangkaian TCP/IP biasa?
Penyesuai InfiniBand memindahkan data terus ke/daripada memori yang disematkan dalam perkakasan dan memintas kernel OS, menghapuskan gangguan CPU setiap paket dan salinan data.
Secara kasar apakah lebar jalur per pautan yang disediakan oleh NDR InfiniBand?
NDR (Kadar Data Seterusnya) InfiniBand berjalan pada 400 Gb/s setiap pautan, dengan XDR menyasarkan 800 Gb/s dalam generasi seterusnya.
Dalam RDMA, apakah 'pasangan baris gilir' digunakan?
Permohonan menghantar permintaan kerja untuk menghantar dan menerima baris gilir (pasangan baris gilir); penyesuai saluran hos membacanya dan melakukan pemindahan memori terus.
Apakah RoCE?
RoCE adalah singkatan kepada RDMA over Converged Ethernet, membenarkan kependaman rendah, pemindahan kernel-bypass pada fabrik Ethernet standard dan bukannya InfiniBand asli.