NastępnyNastępny poradnik
Hugging Face Przyspieszenie treningu z wieloma procesorami graficznymi
Techniczne
PRZEWODNIK techniczny
Partycjonowanie GPU z wieloma instancjami
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Głębokie nurkowanie
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Implementacja w świecie rzeczywistym
Dostawca usług w chmurze dzieli jedną A100 na siedem instancji, dzięki czemu każdy z siedmiu klientów otrzymuje gwarantowany, izolowany fragment procesora graficznego na potrzeby wnioskowania.
Uniwersytecki klaster badawczy udostępnia każdemu doktorantowi instancję MIG o pojemności 10 GB do tworzenia prototypów, zamiast monopolizować całe karty.
Usługa wnioskowania pakuje kilka małych modeli językowych i wizyjnych na jeden H100, każdy na osobnej partycji z przewidywalnym opóźnieniem.
Klaster Kubernetes reklamuje instancje MIG jako zasoby, które można zaplanować, więc pody żądają adresu „nvidia.com/mig-1g.5gb” jak każdy inny zasób.
Przyszłość partycjonowania GPU z wieloma instancjami
W miarę wzrostu liczby procesorów graficznych do 80 GB, 141 GB i więcej, partycjonowanie staje się coraz bardziej atrakcyjne, ponieważ poszczególne modele rzadko potrzebują całej karty do wnioskowania. Oczekuj ściślejszej integracji Kubernetes i chmury, dynamicznego ponownego partycjonowania bez obciążania węzła i bardziej szczegółowych profili. Konkurencyjni dostawcy dążą do podobnej wirtualizacji procesorów graficznych w stylu SR-IOV, a bezserwerowe platformy wnioskowania w coraz większym stopniu opierają się na partycjonowaniu, aby gęsto upakować wiele modeli i ograniczyć niepotrzebne straty.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Multi-Instance GPU Partitioning quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
Na jakiej architekturze NVIDIA po raz pierwszy wprowadzono MIG?
Firma MIG zadebiutowała z procesorem A100 opartym na Ampere i była kontynuowana na procesorach graficznych H100 i późniejszych do centrów danych.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Co w profilu MIG, np. „1g.5gb”, oznacza „5gb”?
Profil koduje wycinki obliczeniowe (1g) i dedykowaną pamięć (5GB) przydzieloną instancji.
Do jakiego obciążenia szczególnie dobrze nadaje się metoda MIG?
MIG sprawdza się, gdy wiele małych, izolowanych obciążeń (takich jak wnioskowanie) korzysta z jednej karty z gwarantowaną jakością usług.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat