Műszaki ÚTMUTATÓ

InfiniBand és RDMA hálózat

InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az InfiniBand és az RDMA hálózat jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.

Mély merülés

Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.

Valós megvalósítás

Több ezer GPU csatlakoztatása egy mesterséges intelligencia-szuperszámítógépben, így a gradiens adatok mikroszekundum alatt mozognak a csomópontok között az elosztott képzés során

Engedélyezi az egyik szervernek, hogy közvetlenül olvassa a másik memóriáját (RDMA), hogy felgyorsítsa az elosztott fájlrendszereket és adatbázisokat CPU-terhelés nélkül

Az NCCL minden csökkentése műveletek futtatása InfiniBandon keresztül a modellsúlyok szinkronizálásához a GPU-fürtök között

A RoCE használata az RDMA-stílusú alacsony késleltetésű átvitelek megvalósításához a meglévő Ethernet adatközponti hálózatokhoz

Az InfiniBand és az RDMA hálózat jövője

Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the InfiniBand and RDMA Networking quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is InfiniBand and RDMA Networking?

InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.

What does an RDMA-capable bulk data path aim to reduce?

RDMA offloads data movement but software still sets up and manages communication.

How can an RDMA-capable InfiniBand data path reduce bulk-transfer overhead?

RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.

Körülbelül mekkora linkenkénti sávszélességet biztosít az NDR InfiniBand?

A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an application’s effective transfer throughput.

Az RDMA-ban mire használják a „sorpárokat”?

Az alkalmazások munkakéréseket tesznek közzé sorok (sorpárok) küldésére és fogadására; a gazdacsatorna-adapter beolvassa őket, és végrehajtja a közvetlen memóriaátvitelt.

Mi az a RoCE?

A RoCE az RDMA over Converged Ethernet rövidítése, amely alacsony késleltetésű, kernel-bypass átvitelt tesz lehetővé szabványos Ethernet szöveteken a natív InfiniBand helyett.