Сеть InfiniBand и RDMA
InfiniBand — это высокоскоростное соединение с малой задержкой, которое связывает серверы и графические процессоры в кластерах искусственного интеллекта, а RDMA позволяет одной машине читать или записывать память другой, не задействуя центральный процессор.
Обзор
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Глубокое погружение
Когда вы обучаете модель на тысячах графических процессоров, узким местом часто становится сеть, а не чипы. InfiniBand — это коммутируемая фабрика, специально созданная для этой цели: она обеспечивает пропускную способность каждого канала в сотни гигабит в секунду (NDR работает на скорости 400 Гбит/с) и задержку в микросекундном масштабе. Его ключевой трюк — удаленный прямой доступ к памяти (RDMA), который перемещает данные непосредственно между памятью двух узлов, минуя ядро операционной системы и копии ЦП, которые замедляют обычный TCP/IP. Этот «обход ядра» освобождает циклы процессора и сокращает задержку. InfiniBand также обеспечивает аппаратное управление потоком данных для создания структуры без потерь, а коммутаторы NVIDIA Quantum и адаптеры ConnectX доминируют в суперкомпьютерах с искусственным интеллектом. RoCE (RDMA через конвергентный Ethernet) обеспечивает аналогичные преимущества RDMA для сетей Ethernet.
Техническая информация
RDMA работает через команды и пары очередей. Приложение публикует рабочие запросы для отправки и получения очередей; сетевой адаптер (HCA) считывает их и передает данные непосредственно в заранее зарегистрированные, закрепленные области памяти на удаленном хосте. Поскольку сетевая карта обрабатывает передачу аппаратно, а ядро ОС обходит, при массовой передаче не создается никаких копий данных и нет прерываний ЦП для каждого пакета. Управление потоком на основе кредитов на канальном уровне InfiniBand предотвращает переполнение буфера, делая структуру без потерь без штормов повторной передачи.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее сетей InfiniBand и RDMA
Пропускная способность продолжает расти: XDR InfiniBand нацелена на скорость 800 Гбит/с на канал и планирует достичь 1,6 Тбит/с. Конкуренция усиливается по мере того, как Консорциум Ultra Ethernet разрабатывает Ethernet, соответствующий InfiniBand для рабочих нагрузок искусственного интеллекта, а также по мере того, как внутрисетевые вычисления (SHARP) переносят коллективную математику на сами коммутаторы. Ожидайте более тесной интеграции графических процессоров с сетью, оптических межсоединений для снижения энергопотребления и масштабирования фабрик до кластеров из сотен тысяч ускорителей по мере роста передовых моделей.
Реальная реализация
Соединение тысяч графических процессоров в суперкомпьютере искусственного интеллекта для перемещения данных градиента между узлами за микросекунды во время распределенного обучения.
Разрешение одному серверу напрямую читать память другого (RDMA) для ускорения распределенных файловых систем и баз данных без нагрузки на процессор.
Выполнение операций полного сокращения NCCL через InfiniBand для синхронизации весов моделей в кластере графических процессоров.
Использование RoCE для передачи данных с низкой задержкой в стиле RDMA в существующие сети центров обработки данных Ethernet.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Конвейеры разработки функций и управление версиями данных
Часто задаваемые вопросы
What is InfiniBand and RDMA Networking?
InfiniBand — это высокоскоростное соединение с малой задержкой, которое связывает серверы и графические процессоры в кластерах искусственного интеллекта, а RDMA позволяет одной машине читать или записывать память другой, не задействуя центральный процессор. Вместе они представляют собой систему, которая обеспечивает подачу данных на тысячи графических процессоров во время обучения больших моделей.
Что принципиально позволяет RDMA делать одному компьютеру?
Удаленный прямой доступ к памяти перемещает данные напрямую между памятью двух узлов, минуя ядро ОС и копии ЦП, что сокращает задержку и освобождает циклы ЦП.
Почему InfiniBand обеспечивает гораздо меньшую задержку, чем обычная сеть TCP/IP?
Адаптеры InfiniBand передают данные непосредственно в/из закрепленной аппаратной памяти, минуя ядро ОС, устраняя попакетные прерывания ЦП и копирование данных.
Какую примерно пропускную способность на канал обеспечивает NDR InfiniBand?
NDR (следующая скорость передачи данных) InfiniBand работает со скоростью 400 Гбит/с на канал, а XDR нацелен на 800 Гбит/с в следующем поколении.
Для чего в RDMA используются «пары очередей»?
Приложения отправляют рабочие запросы на отправку и получение очередей (пар очередей); адаптер главного канала считывает их и выполняет прямую передачу в память.
Что такое РоЦЭ?
RoCE означает RDMA over Converged Ethernet, что позволяет осуществлять передачу данных в обход ядра с малой задержкой по стандартным фабрикам Ethernet вместо встроенного InfiniBand.