NastępnyNastępny poradnik
Potoki inżynierii funkcji i wersjonowanie danych
Techniczne
PRZEWODNIK techniczny
Sieć InfiniBand i RDMA
InfiniBand to szybkie łącze przełączane stosowane w klastrach, a RDMA obsługuje bezpośrednie transfery pomiędzy zarejestrowanymi buforami pamięci.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Odciążony masowy ruch danych może zmniejszyć kopiowanie procesora i obciążenie ścieżki jądra; Procesory i oprogramowanie nadal konfigurują, inicjują i zarządzają komunikacją.
Głębokie nurkowanie
Rozproszone szkolenie w zakresie sztucznej inteligencji może zająć dużo czasu na przenoszenie gradientów i innych tensorów między urządzeniami i serwerami. InfiniBand zapewnia przełączaną strukturę z obsługą RDMA i kontrolą przepływu na poziomie łącza. NDR oznacza tryb łącza 400 Gb/s w cytowanej dokumentacji sprzętu NVIDIA; Przepustowość i opóźnienia aplikacji zależą od komunikatów, adapterów, topologii i obciążenia. Adaptery obsługujące RDMA mogą przenosić dane zbiorczo do zarejestrowanych buforów bez konieczności wielokrotnego kopiowania konwencjonalnej ścieżki przez hosta. Nie oznacza to, że oprogramowanie lub procesory nie odgrywają żadnej roli: aplikacje tworzą obiekty komunikacyjne, bufory rejestrów i wykonują prace końcowe. RoCE przenosi RDMA przez Ethernet, z własnymi wymaganiami dotyczącymi projektowania sieci. Wybierz i porównaj sieć szkieletową, korzystając z rzeczywistego ruchu zbiorowego, warunków zatorów i awarii.
Implementacja w świecie rzeczywistym
Łączenie tysięcy procesorów graficznych w superkomputerze AI, aby dane gradientowe przemieszczały się między węzłami w ciągu mikrosekund podczas rozproszonego szkolenia
Umożliwienie jednemu serwerowi bezpośredniego odczytu pamięci innego (RDMA) w celu przyspieszenia rozproszonych systemów plików i baz danych bez obciążania procesora
Uruchamianie operacji NCCL all-reduce przez InfiniBand w celu synchronizacji wag modeli w klastrze GPU
Korzystanie z RoCE w celu zapewnienia transferów o niskim opóźnieniu w stylu RDMA do istniejących sieci Ethernet w centrach danych
Przyszłość sieci InfiniBand i RDMA
Połączenia wzajemne i adaptery stale ewoluują, a dostawcy oferują różne tryby przepustowości i odciążenia. Zespoły powinny porównać zmierzoną przepustowość, opóźnienia, pracę procesora, obsługę przeciążenia i niezawodność pod własnym obciążeniem. Redukcje w sieci i ściślejsza integracja akceleratorów mogą pomóc w określonych konfiguracjach, ale główna szybkość łącza sama w sobie nie determinuje wydajności szkolenia. Zachowaj wersje sprzętu, oprogramowania sprzętowego i oprogramowania wraz z wynikami testów porównawczych.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the InfiniBand and RDMA Networking quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest sieć InfiniBand i RDMA?
InfiniBand to szybkie łącze przełączane stosowane w klastrach, a RDMA obsługuje bezpośrednie transfery pomiędzy zarejestrowanymi buforami pamięci. Odciążony masowy ruch danych może zmniejszyć kopiowanie procesora i obciążenie ścieżki jądra; Procesory i oprogramowanie nadal konfigurują, inicjują i zarządzają komunikacją.
Jakie ograniczenia ma masowa ścieżka danych zgodna z RDMA?
RDMA odciąża przenoszenie danych, ale oprogramowanie nadal konfiguruje komunikację i zarządza nią.
W jaki sposób ścieżka danych InfiniBand z obsługą RDMA może zmniejszyć obciążenie związane z przesyłaniem zbiorczym?
Sprzęt RDMA może przenosić dane pomiędzy przygotowanymi buforami przy rzadszym kopiowaniu hosta i pracy ze ścieżką jądra. Oprogramowanie nadal obsługuje konfigurację, rejestrację, uprawnienia i przetwarzanie zakończenia.
Jaką mniej więcej przepustowość na łącze zapewnia NDR InfiniBand?
Czteropasmowe łącze NDR400 InfiniBand ma przepustowość 400 Gb/s. Ta wartość szybkości łącza nie gwarantuje efektywnej przepustowości aplikacji.
Do czego w RDMA służą „pary kolejek”?
Aplikacje publikują żądania pracy w celu wysyłania i odbierania kolejek (par kolejek); adapter kanału hosta odczytuje je i wykonuje bezpośrednie transfery pamięci.
Co to jest RoCE?
RoCE oznacza RDMA over Converged Ethernet, umożliwiając transfery z niskim opóźnieniem i obejściem jądra w standardowych strukturach Ethernet zamiast natywnej InfiniBand.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat