ДаліНаступний посібник
Інженерні конвеєри функцій і керування версіями даних
технічний
Технічний КЕРІВНИЦТВО
Мережа InfiniBand і RDMA
InfiniBand — це високошвидкісне комутоване з'єднання, що використовується в кластерах, а RDMA підтримує пряму передачу даних між зареєстрованими буферами пам'яті.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
Глибоке занурення
Distributed AI training can spend substantial time moving gradients and other tensors between devices and servers. InfiniBand provides a switched fabric with RDMA support and link-level flow control. NDR denotes a 400 Gb/s link mode in the cited NVIDIA hardware documentation; application throughput and latency depend on messages, adapters, topology and workload. RDMA-capable adapters can move bulk data to registered buffers without the repeated host copying of a conventional path. This does not mean software or CPUs have no role: applications create communication objects, register buffers and post work. RoCE carries RDMA over Ethernet, with its own network-design requirements. Select and benchmark a fabric using the actual collective traffic, congestion and failure conditions.
Реалізація в реальному світі
Підключення тисяч графічних процесорів до суперкомп’ютера зі штучним інтелектом, щоб градієнтні дані переміщувалися між вузлами за мікросекунди під час розподіленого навчання
Дозволити одному серверу безпосередньо читати пам’ять іншого (RDMA) для прискорення розподілених файлових систем і баз даних без навантаження на процесор
Виконання операцій NCCL all-reduce через InfiniBand для синхронізації вагових коефіцієнтів моделі в кластері GPU
Використання RoCE для передачі з низькою затримкою в стилі RDMA до існуючих мереж центрів обробки даних Ethernet
Майбутнє мереж InfiniBand і RDMA
Interconnects and adapters continue to evolve, and vendors offer different bandwidth modes and offloads. Teams should compare measured throughput, latency, CPU work, congestion handling and reliability under their own workload. In-network reductions and closer accelerator integration may help particular configurations, but a headline link rate does not determine training performance by itself. Keep hardware, firmware and software versions with benchmark results.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the InfiniBand and RDMA Networking quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is InfiniBand and RDMA Networking?
InfiniBand is a high-speed switched interconnect used in clusters, and RDMA supports direct transfers between registered memory buffers. Offloaded bulk data movement can reduce CPU copying and kernel-path overhead; CPUs and software still configure, initiate and manage the communication.
What does an RDMA-capable bulk data path aim to reduce?
RDMA offloads data movement but software still sets up and manages communication.
How can an RDMA-capable InfiniBand data path reduce bulk-transfer overhead?
RDMA hardware can move data between prepared buffers with less repeated host copying and kernel-path work. Software still handles setup, registration, permissions, and completion processing.
Яку приблизно пропускну здатність на посилання забезпечує NDR InfiniBand?
A four-lane NDR400 InfiniBand link is rated at 400 Gb/s. This link-rate figure does not guarantee an application’s effective transfer throughput.
Для чого в RDMA використовуються «пари черги»?
Додатки публікують робочі запити на надсилання та отримання черг (пар черг); the host channel adapter reads them and performs the direct memory transfers.
Що таке RoCE?
RoCE означає RDMA через конвергентний Ethernet, що дозволяє передавати дані в обхід ядра з низькою затримкою на стандартних мережах Ethernet замість рідного InfiniBand.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми