SeterusnyaPanduan seterusnya
Ciri Saluran Paip Kejuruteraan dan Versi Data
Teknikal
PANDUAN Teknikal
Rangkaian InfiniBand dan RDMA
InfiniBand ialah interkoneksi suis berkelajuan tinggi yang digunakan dalam kelompok, dan RDMA menyokong pemindahan terus antara penimbal memori berdaftar.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Pergerakan data pukal yang dimuatkan boleh mengurangkan penyalinan CPU dan overhed laluan kernel; CPU dan perisian masih mengkonfigurasi, memulakan dan mengurus komunikasi.
Menyelam dalam
Latihan AI yang diedarkan boleh menghabiskan banyak masa untuk memindahkan kecerunan dan tensor lain antara peranti dan pelayan. InfiniBand menyediakan fabrik bertukar dengan sokongan RDMA dan kawalan aliran peringkat pautan. NDR menandakan mod pautan 400 Gb/s dalam dokumentasi perkakasan NVIDIA yang disebut; daya pemprosesan dan kependaman aplikasi bergantung pada mesej, penyesuai, topologi dan beban kerja. Penyesuai berkemampuan RDMA boleh memindahkan data pukal ke penimbal berdaftar tanpa penyalinan hos berulang laluan konvensional. Ini tidak bermakna perisian atau CPU tidak mempunyai peranan: aplikasi mencipta objek komunikasi, mendaftarkan penimbal dan menghantar kerja. RoCE membawa RDMA melalui Ethernet, dengan keperluan reka bentuk rangkaiannya sendiri. Pilih dan tanda aras fabrik menggunakan trafik kolektif sebenar, kesesakan dan keadaan kegagalan.
Pelaksanaan Dunia Sebenar
Menyambungkan beribu-ribu GPU dalam superkomputer AI supaya data kecerunan bergerak antara nod dalam mikrosaat semasa latihan yang diedarkan
Membenarkan satu pelayan membaca memori orang lain secara langsung (RDMA) untuk mempercepatkan sistem fail dan pangkalan data yang diedarkan tanpa overhed CPU
Menjalankan operasi pengurangan semua NCCL ke atas InfiniBand untuk menyegerakkan berat model merentas kluster GPU
Menggunakan RoCE untuk membawa pemindahan kependaman rendah gaya RDMA ke rangkaian pusat data Ethernet sedia ada
Masa Depan InfiniBand dan Rangkaian RDMA
Saling penyambung dan penyesuai terus berkembang, dan vendor menawarkan mod lebar jalur dan pelepasan yang berbeza. Pasukan harus membandingkan daya pemprosesan yang diukur, kependaman, kerja CPU, pengendalian kesesakan dan kebolehpercayaan di bawah beban kerja mereka sendiri. Pengurangan dalam rangkaian dan penyepaduan pemecut yang lebih rapat boleh membantu konfigurasi tertentu, tetapi kadar pautan tajuk tidak menentukan prestasi latihan dengan sendirinya. Kekalkan versi perkakasan, perisian tegar dan perisian dengan hasil penanda aras.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the InfiniBand and RDMA Networking quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Rangkaian InfiniBand dan RDMA?
InfiniBand ialah interkoneksi suis berkelajuan tinggi yang digunakan dalam kelompok, dan RDMA menyokong pemindahan terus antara penimbal memori berdaftar. Pergerakan data pukal yang dimuatkan boleh mengurangkan penyalinan CPU dan overhed laluan kernel; CPU dan perisian masih mengkonfigurasi, memulakan dan mengurus komunikasi.
Apakah yang bertujuan untuk mengurangkan laluan data pukal berkeupayaan RDMA?
RDMA memunggah pergerakan data tetapi perisian masih menyediakan dan menguruskan komunikasi.
Bagaimanakah laluan data InfiniBand berkeupayaan RDMA boleh mengurangkan overhed pemindahan pukal?
Perkakasan RDMA boleh memindahkan data antara penimbal yang disediakan dengan penyalinan hos yang kurang berulang dan kerja laluan kernel. Perisian masih mengendalikan persediaan, pendaftaran, kebenaran dan pemprosesan penyiapan.
Secara kasar apakah lebar jalur per pautan yang disediakan oleh NDR InfiniBand?
Pautan empat lorong NDR400 InfiniBand dinilai pada 400 Gb/s. Angka kadar pautan ini tidak menjamin pemprosesan pemindahan berkesan aplikasi.
Dalam RDMA, apakah 'pasangan baris gilir' digunakan?
Permohonan menghantar permintaan kerja untuk menghantar dan menerima baris gilir (pasangan baris gilir); penyesuai saluran hos membacanya dan melakukan pemindahan memori terus.
Apakah RoCE?
RoCE adalah singkatan kepada RDMA over Converged Ethernet, membenarkan kependaman rendah, pemindahan kernel-bypass pada fabrik Ethernet standard dan bukannya InfiniBand asli.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini