InfiniBand и RDMA мрежа
InfiniBand е високоскоростна връзка с ниска латентност, която свързва сървъри и графични процесори в AI клъстери, а RDMA позволява на една машина да чете или записва паметта на друга, без да включва процесора.
Преглед
Together they are the plumbing that keeps thousands of GPUs fed with data during large-model training.
Дълбоко гмуркане
Когато обучавате модел на хиляди GPU, мрежата често се превръща в пречка, а не чиповете. InfiniBand е превключвана тъкан, създадена специално за това: тя предлага честотна лента на връзка в стотици гигабита в секунда (NDR работи при 400 Gb/s) и латентност в микросекунден мащаб. Ключовият му трик е Дистанционният директен достъп до паметта (RDMA), който премества данни директно между паметта на два възела, заобикаляйки ядрото на операционната система и копията на процесора, които забавят обикновения TCP/IP. Този „байпас на ядрото“ освобождава цикли на процесора и намалява латентността. InfiniBand също така осигурява хардуерен контрол на потока за тъкан без загуби, а Quantum превключвателите на NVIDIA плюс ConnectX адаптерите доминират в AI суперкомпютрите. RoCE (RDMA през конвергиран Ethernet) носи подобни предимства на RDMA в Ethernet мрежите.
Техническа информация
RDMA работи чрез глаголи и двойки опашки. Едно приложение публикува работни заявки за изпращане и получаване на опашки; мрежовият адаптер (HCA) ги чете и прехвърля данни директно в предварително регистрирани, фиксирани области на паметта на отдалечения хост. Тъй като NIC обработва прехвърлянето хардуерно и ядрото на ОС е заобиколено, има нула копия на данни и няма прекъсвания на процесора за пакет за груповия трансфер. Кредитният контрол на потока на InfiniBand на слоя на връзката предотвратява препълването на буфера, което прави тъканта без загуби без бури при повторно предаване.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на InfiniBand и RDMA мрежите
Ширината на честотната лента продължава да расте: XDR InfiniBand цели 800 Gb/s на връзка, с пътни карти към 1,6 Tb/s. Конкуренцията се засилва, тъй като Ultra Ethernet Consortium проектира Ethernet, който съответства на InfiniBand за натоварвания на AI, и тъй като изчисленията в мрежата (SHARP) разтоварват колективната математика в самите комутатори. Очаквайте по-тясна интеграция между GPU и мрежата, оптични връзки за намаляване на мощността и тъкани, мащабирани до клъстери от стотици хиляди ускорители, докато граничните модели растат.
Внедряване в реалния свят
Свързване на хиляди GPU в AI суперкомпютър, така че градиентните данни да се движат между възлите за микросекунди по време на разпределено обучение
Позволяване на един сървър да чете паметта на друг директно (RDMA) за ускоряване на разпределени файлови системи и бази данни без натоварване на процесора
Изпълнение на NCCL all-reduce операции над InfiniBand за синхронизиране на теглата на модела в GPU клъстер
Използване на RoCE за предоставяне на трансфери с ниска латентност в стил RDMA към съществуващи мрежи на Ethernet центрове за данни
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfiniBand and RDMA Networking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Функционални инженерни тръбопроводи и версии на данни
Frequently asked questions
What is InfiniBand and RDMA Networking?
InfiniBand е високоскоростна връзка с ниска латентност, която свързва сървъри и графични процесори в AI клъстери, а RDMA позволява на една машина да чете или записва паметта на друга, без да включва процесора. Заедно те са водопроводът, който поддържа хиляди графични процесори захранвани с данни по време на обучение на голям модел.
Какво по принцип позволява RDMA да прави един компютър?
Дистанционният директен достъп до паметта премества данни направо между паметта на два възела, заобикаляйки ядрото на ОС и копията на процесора, което намалява латентността и освобождава цикли на процесора.
Защо InfiniBand постига много по-ниска латентност от обикновената TCP/IP мрежа?
InfiniBand адаптерите прехвърлят данни директно към/от фиксирана памет в хардуера и заобикалят ядрото на ОС, елиминирайки прекъсванията на процесора за всеки пакет и копията на данни.
Приблизително каква честотна лента на връзка предоставя NDR InfiniBand?
NDR (Next Data Rate) InfiniBand работи при 400 Gb/s на връзка, като XDR е насочен към 800 Gb/s в следващото поколение.
В RDMA за какво се използват „двойки опашки“?
Приложенията публикуват работни заявки за изпращане и получаване на опашки (двойки опашки); адаптерът на хост канала ги чете и извършва директни прехвърляния на паметта.
Какво е RoCE?
RoCE означава RDMA over Converged Ethernet, позволявайки прехвърляния с ниска латентност, заобикаляне на ядрото върху стандартни Ethernet тъкани вместо родния InfiniBand.