Мережа InfiniBand і RDMA
InfiniBand — це високошвидкісне з’єднання з низькою затримкою, яке з’єднує сервери та графічні процесори в кластерах штучного інтелекту, а RDMA дозволяє одній машині читати або записувати пам’ять іншої без залучення ЦП.
Огляд
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Глибоке занурення
Коли ви тренуєте модель на тисячах графічних процесорів, вузьким місцем часто стає мережа, а не чіпи. InfiniBand — це комутована мережа, спеціально створена для цього: вона пропонує пропускну здатність на канал у сотні гігабіт на секунду (NDR працює зі швидкістю 400 Гбіт/с) і затримку в мікросекундному масштабі. Його ключовим прийомом є віддалений прямий доступ до пам’яті (RDMA), який переміщує дані безпосередньо між пам’яттю двох вузлів, минаючи ядро операційної системи та копії ЦП, які сповільнюють звичайний TCP/IP. Цей «обхід ядра» звільняє цикли ЦП і скорочує затримку. InfiniBand також забезпечує апаратне керування потоком для структури без втрат, а комутатори NVIDIA Quantum і адаптери ConnectX домінують у суперкомп’ютерах зі штучним інтелектом. RoCE (RDMA через конвергентний Ethernet) надає аналогічні переваги RDMA мережам Ethernet.
Технічне розуміння
RDMA працює за допомогою дієслів і пар черги. Додаток публікує робочі запити для надсилання та отримання черг; мережевий адаптер (HCA) зчитує їх і передає дані безпосередньо в попередньо зареєстровані, закріплені області пам’яті на віддаленому хості. Оскільки мережевий адаптер обробляє передачу в апаратному забезпеченні, а ядро ОС обійдеться, існує нульове копіювання даних і жодних переривань центрального процесора для кожного пакета для масової передачі. Контроль потоку на основі кредитів на канальному рівні InfiniBand запобігає переповненню буфера, роблячи структуру без втрат без штормів повторної передачі.
Стратегічний вплив
Вартість і бюджет
Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
Чіткіші рішення
Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
Контроль якості
Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Майбутнє мереж InfiniBand і RDMA
Пропускна спроможність продовжує зростати: XDR InfiniBand орієнтується на 800 Гбіт/с на канал із планом до 1,6 Тбіт/с. Конкуренція посилюється, оскільки Консорціум Ultra Ethernet розробляє Ethernet, який відповідає InfiniBand для робочих навантажень штучного інтелекту, і оскільки обчислення в мережі (SHARP) розвантажують колективну математику в самих комутаторах. Очікуйте тіснішої інтеграції графічного процесора з мережею, оптичних з’єднань для зменшення живлення та мереж, масштабованих до кластерів із сотень тисяч прискорювачів у міру зростання передових моделей.
Реалізація в реальному світі
Підключення тисяч графічних процесорів до суперкомп’ютера зі штучним інтелектом, щоб градієнтні дані переміщувалися між вузлами за мікросекунди під час розподіленого навчання
Дозволити одному серверу безпосередньо читати пам’ять іншого (RDMA) для прискорення розподілених файлових систем і баз даних без навантаження на процесор
Виконання операцій NCCL all-reduce через InfiniBand для синхронізації вагових коефіцієнтів моделі в кластері GPU
Використання RoCE для передачі з низькою затримкою в стилі RDMA до існуючих мереж центрів обробки даних Ethernet
Ризики та огорожі
Оптимізація одного тесту може приховати ширші слабкі сторони системи.
Витрати на інфраструктуру та обслуговування часто недооцінюються.
Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Дорожня карта впровадження
Визначте цільові показники затримки, якості та вартості перед впровадженням.
Тест за реалістичних умов навантаження та даних.
Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Інженерні конвеєри функцій і керування версіями даних
Часті запитання
What is InfiniBand and RDMA Networking?
InfiniBand — це високошвидкісне з’єднання з низькою затримкою, яке з’єднує сервери та графічні процесори в кластерах штучного інтелекту, а RDMA дозволяє одній машині читати або записувати пам’ять іншої без залучення ЦП. Разом вони є системою, яка забезпечує передачу даних тисячам графічних процесорів під час навчання великої моделі.
Що принципово дозволяє RDMA робити одному комп’ютеру?
Віддалений прямий доступ до пам’яті переміщує дані безпосередньо між пам’яттю двох вузлів, минаючи ядро ОС і копії ЦП, що скорочує затримку та звільняє цикли ЦП.
Чому InfiniBand досягає значно меншої затримки, ніж звичайна мережа TCP/IP?
Адаптери InfiniBand передають дані безпосередньо до/із закріпленої пам’яті в апаратному забезпеченні й обходять ядро ОС, усуваючи переривання процесора для кожного пакета та копіювання даних.
Яку приблизно пропускну здатність на посилання забезпечує NDR InfiniBand?
NDR (Next Data Rate) InfiniBand працює зі швидкістю 400 Гбіт/с на канал, а XDR націлений на 800 Гбіт/с у наступному поколінні.
Для чого в RDMA використовуються «пари черги»?
Додатки публікують робочі запити на надсилання та отримання черг (пар черг); the host channel adapter reads them and performs the direct memory transfers.
Що таке RoCE?
RoCE означає RDMA через конвергентний Ethernet, що дозволяє передавати дані в обхід ядра з низькою затримкою на стандартних мережах Ethernet замість рідного InfiniBand.