InfiniBand ve RDMA Ağı
InfiniBand, yapay zeka kümelerindeki sunucuları ve GPU'ları birbirine bağlayan yüksek hızlı, düşük gecikmeli bir ara bağlantıdır ve RDMA, CPU'yu dahil etmeden bir makinenin diğerinin belleğini okumasına veya yazmasına olanak tanır.
Genel Bakış
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Derin Dalış
Bir modeli binlerce GPU'da eğittiğinizde, genellikle çipler değil, ağ darboğaz haline gelir. InfiniBand, bunun için özel olarak tasarlanmış anahtarlamalı bir yapıdır: saniyede yüzlerce gigabit düzeyinde bağlantı başına bant genişliği (NDR 400 Gb/s hızında çalışır) ve mikrosaniye ölçeğinde gecikme süresi sunar. Bunun en önemli özelliği, sıradan TCP/IP'yi yavaşlatan işletim sistemi çekirdeğini ve CPU kopyalarını atlayarak verileri doğrudan iki düğümün belleği arasında taşıyan Uzaktan Doğrudan Bellek Erişimi'dir (RDMA). Bu 'çekirdek atlaması' CPU döngülerini serbest bırakır ve gecikmeyi azaltır. InfiniBand ayrıca kayıpsız bir yapı için donanım akış kontrolü sağlar ve NVIDIA'nın Quantum anahtarları ve ConnectX adaptörleri yapay zeka süper bilgisayarlarına hakimdir. RoCE (Yakınsanmış Ethernet üzerinden RDMA), Ethernet ağlarına benzer RDMA avantajları sağlar.
Teknik Bilgi
RDMA fiiller ve sıra çiftleri aracılığıyla çalışır. Bir uygulama, kuyrukları göndermek ve almak için iş isteklerini gönderir; ağ bağdaştırıcısı (HCA) bunları okur ve verileri doğrudan uzak ana bilgisayardaki önceden kayıtlı, sabitlenmiş bellek bölgelerine aktarır. NIC, donanımdaki aktarımı yönettiğinden ve işletim sistemi çekirdeği atlandığından, toplu aktarım için sıfır veri kopyası vardır ve paket başına CPU kesintisi yoktur. InfiniBand'ın bağlantı katmanı kredi tabanlı akış kontrolü, arabellek taşmasını önleyerek, yeniden iletim fırtınaları olmadan yapıyı kayıpsız hale getirir.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
InfiniBand ve RDMA Ağının Geleceği
Bant genişliği artmaya devam ediyor: XDR InfiniBand bağlantı başına 800 Gb/s'yi hedeflerken, yol haritaları 1,6 Tb/s'ye doğru gidiyor. Ultra Ethernet Konsorsiyumu, AI iş yükleri için InfiniBand ile eşleşen Ethernet tasarladığından ve ağ içi bilgi işlem (SHARP) kolektif matematiği anahtarların kendilerine aktardıkça rekabet yoğunlaşıyor. Sınır modelleri büyüdükçe daha sıkı GPU-ağ entegrasyonu, gücü kesmek için optik ara bağlantılar ve yüzbinlerce hızlandırıcıdan oluşan kümelere ölçeklendirilen yapılar bekleyebilirsiniz.
Gerçek Dünya Uygulaması
Binlerce GPU'yu bir yapay zeka süper bilgisayarına bağlayarak dağıtılmış eğitim sırasında gradyan verilerinin mikrosaniyeler içinde düğümler arasında taşınmasını sağlar
CPU yükü olmadan dağıtılmış dosya sistemlerini ve veritabanlarını hızlandırmak için bir sunucunun diğerinin belleğini doğrudan okumasına izin verme (RDMA)
NCCL'yi çalıştırmak, model ağırlıklarını bir GPU kümesi genelinde senkronize etmek için InfiniBand üzerinden işlemleri tamamen azaltır
Mevcut Ethernet veri merkezi ağlarına RDMA tarzı düşük gecikmeli aktarımlar sağlamak için RoCE'yi kullanma
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Özellik Mühendisliği İşlem Hatları ve Veri Sürümü Oluşturma
Sık sorulan sorular
What is InfiniBand and RDMA Networking?
InfiniBand, yapay zeka kümelerindeki sunucuları ve GPU'ları birbirine bağlayan yüksek hızlı, düşük gecikmeli bir ara bağlantıdır ve RDMA, CPU'yu dahil etmeden bir makinenin diğerinin belleğini okumasına veya yazmasına olanak tanır. Hepsi birlikte, büyük model eğitimi sırasında binlerce GPU'nun verilerle beslenmesini sağlayan tesisatlardır.
RDMA temel olarak bir bilgisayarın ne yapmasına izin verir?
Uzaktan Doğrudan Bellek Erişimi, işletim sistemi çekirdeğini ve CPU kopyalarını atlayarak verileri doğrudan iki düğümün belleği arasında taşır, bu da gecikmeyi azaltır ve CPU döngülerini serbest bırakır.
InfiniBand neden sıradan TCP/IP ağından çok daha düşük gecikme süresine ulaşıyor?
InfiniBand adaptörleri, verileri doğrudan donanımdaki sabitlenmiş belleğe/bellekten aktarır ve işletim sistemi çekirdeğini atlayarak paket başına CPU kesintilerini ve veri kopyalarını ortadan kaldırır.
NDR InfiniBand yaklaşık olarak bağlantı başına ne kadar bant genişliği sağlıyor?
NDR (Sonraki Veri Hızı) InfiniBand, bağlantı başına 400 Gb/s hızında çalışır ve XDR, gelecek nesilde 800 Gb/s'yi hedefler.
RDMA'da 'kuyruk çiftleri' ne için kullanılır?
Uygulamalar, kuyrukları (kuyruk çiftleri) göndermek ve almak için iş isteklerini gönderir; ana bilgisayar kanalı bağdaştırıcısı bunları okur ve doğrudan bellek aktarımlarını gerçekleştirir.
RoCE nedir?
RoCE, Yakınsanmış Ethernet üzerinden RDMA anlamına gelir ve yerel InfiniBand yerine standart Ethernet yapılarında düşük gecikme süreli, çekirdek bypass aktarımlarına olanak tanır.