Partycjonowanie GPU z wieloma instancjami
Multi-Instance GPU (MIG) to technologia firmy NVIDIA, która dzieli pojedynczy fizyczny procesor graficzny na wiele izolowanych partycji sprzętowych.
Przegląd
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
Głębokie nurkowanie
Wprowadzony wraz z NVIDIA A100 (Ampere) i kontynuowany w H100 i nowszych procesorach graficznych dla centrów danych, MIG dzieli procesor graficzny na maksymalnie siedem niezależnych instancji. W odróżnieniu od oprogramowania do cięcia czasu, MIG zapewnia prawdziwą izolację sprzętu: każda instancja otrzymuje własne, dedykowane wieloprocesory przesyłania strumieniowego (SM), wycinki pamięci podręcznej L2, kontrolery pamięci i stały fragment pamięci o dużej przepustowości. A100 z 40 GB można podzielić na siedem instancji 5 GB lub mniej większych. Każda partycja zachowuje się jak mniejszy, samodzielny procesor graficzny, więc hałaśliwe lub zawieszające się zadanie w jednej instancji nie może zablokować ani uszkodzić innej. Gwarantowana jakość usług sprawia, że MIG idealnie nadaje się do obsługi wnioskowania, klastrów z wieloma dzierżawcami i środowisk programistycznych, w których wielu użytkowników korzysta z jednej karty.
Wgląd techniczny
MIG działa poprzez fizyczne bramkowanie wewnętrznej poprzeczki procesora graficznego, dzięki czemu każda instancja ma stałą ścieżkę do własnego fragmentu pamięci i SM. NVIDIA definiuje profile jako ułamki takie jak 1 g, 5 GB (jeden wycinek obliczeniowy, 5 GB) do 7 g, 40 GB. Instancja GPU rezerwuje pamięć i SM; w nim instancja obliczeniowa dzieli SM dalej. Ponieważ partycje są wymuszane sprzętowo, błędy, błędy ECC i przepustowość pamięci ograniczają się do jednej instancji.
Wpływ strategiczny
Koszt i budżet
Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
Jaśniejsze decyzje
Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
Kontrola jakości
Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Przyszłość partycjonowania GPU z wieloma instancjami
W miarę wzrostu liczby procesorów graficznych do 80 GB, 141 GB i więcej, partycjonowanie staje się coraz bardziej atrakcyjne, ponieważ poszczególne modele rzadko potrzebują całej karty do wnioskowania. Oczekuj ściślejszej integracji Kubernetes i chmury, dynamicznego ponownego partycjonowania bez obciążania węzła i bardziej szczegółowych profili. Konkurencyjni dostawcy dążą do podobnej wirtualizacji procesorów graficznych w stylu SR-IOV, a bezserwerowe platformy wnioskowania w coraz większym stopniu opierają się na partycjonowaniu, aby gęsto upakować wiele modeli i ograniczyć niepotrzebne straty.
Implementacja w świecie rzeczywistym
Dostawca usług w chmurze dzieli jedną A100 na siedem instancji, dzięki czemu każdy z siedmiu klientów otrzymuje gwarantowany, izolowany fragment procesora graficznego na potrzeby wnioskowania.
Uniwersytecki klaster badawczy udostępnia każdemu doktorantowi instancję MIG o pojemności 10 GB do tworzenia prototypów, zamiast monopolizować całe karty.
Usługa wnioskowania pakuje kilka małych modeli językowych i wizyjnych na jeden H100, każdy na osobnej partycji z przewidywalnym opóźnieniem.
Klaster Kubernetes reklamuje instancje MIG jako zasoby, które można zaplanować, więc pody żądają adresu „nvidia.com/mig-1g.5gb” jak każdy inny zasób.
Zagrożenia i poręcze
Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
Koszty infrastruktury i utrzymania są często niedoszacowane.
W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Plan wdrożenia
Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
Test porównawczy w realistycznych warunkach obciążenia i danych.
Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Uczenie się wielozadaniowe
Często zadawane pytania
What is Multi-Instance GPU Partitioning?
Multi-Instance GPU (MIG) to technologia firmy NVIDIA, która dzieli pojedynczy fizyczny procesor graficzny na wiele izolowanych partycji sprzętowych. Ma to znaczenie, ponieważ pozwala jednemu drogiemu akceleratorowi obsłużyć wiele małych obciążeń jednocześnie, bez wzajemnego zakłócania się.
Jaki rodzaj izolacji zapewnia MIG pomiędzy instancjami?
MIG wymusza izolację sprzętu, przydzielając SM, fragmenty pamięci podręcznej L2 i pamięć dla każdej instancji, aby obciążenia nie mogły zakłócać działania.
Na jakiej architekturze NVIDIA po raz pierwszy wprowadzono MIG?
Firma MIG zadebiutowała z procesorem A100 opartym na Ampere i była kontynuowana na procesorach graficznych H100 i późniejszych do centrów danych.
Na jaką maksymalną liczbę instancji można podzielić procesor graficzny obsługujący technologię MIG?
Procesor graficzny obsługujący MIG, taki jak A100, można podzielić na maksymalnie siedem niezależnych instancji.
Co w profilu MIG, np. „1g.5gb”, oznacza „5gb”?
Profil koduje wycinki obliczeniowe (1g) i dedykowaną pamięć (5GB) przydzieloną instancji.
Do jakiego obciążenia szczególnie dobrze nadaje się metoda MIG?
MIG sprawdza się, gdy wiele małych, izolowanych obciążeń (takich jak wnioskowanie) korzysta z jednej karty z gwarantowaną jakością usług.