Als nächstesNächster Leitfaden
Multitasking-Lernen
Technisch
Technischer Leitfaden
Multi-Instanz-GPU-Partitionierung
Multi-Instance GPU (MIG) ist eine NVIDIA-Technologie, die eine einzelne physische GPU in mehrere isolierte Hardwarepartitionen aufteilt.
Auf dieser Seite2 Minuten gelesen
Übersicht
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
Tiefer Einblick
MIG wurde mit der NVIDIA A100 (Ampere) eingeführt und auf H100 und neueren Rechenzentrums-GPUs fortgesetzt. MIG zerlegt eine GPU in bis zu sieben unabhängige Instanzen. Im Gegensatz zum Software-Time-Slicing bietet MIG echte Hardware-Isolation: Jede Instanz erhält ihre eigenen dedizierten Streaming-Multiprozessoren (SMs), L2-Cache-Slices, Speichercontroller und einen festen Speicherbereich mit hoher Bandbreite. Ein A100 mit 40 GB kann in sieben 5-GB-Instanzen oder weniger größere Instanzen aufgeteilt werden. Jede Partition verhält sich wie eine kleinere eigenständige GPU, sodass ein lauter oder abstürzender Job in einer Instanz nicht eine andere verhungern oder beschädigen kann. Diese garantierte Servicequalität macht MIG ideal für Inference Serving, Multi-Tenant-Cluster und Entwicklungsumgebungen, in denen viele Benutzer eine Karte teilen.
Strategische Auswirkungen
Kosten und Budget
Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
Klarere Entscheidungen
Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
Qualitätskontrolle
Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.
Die Zukunft der Multi-Instanz-GPU-Partitionierung
Wenn GPUs auf 80 GB, 141 GB und mehr wachsen, wird die Partitionierung attraktiver, da einzelne Modelle selten eine ganze Karte für die Schlussfolgerung benötigen. Erwarten Sie eine engere Kubernetes- und Cloud-Integration, dynamische Neupartitionierung ohne Belastung des Knotens und feinkörnigere Profile. Konkurrierende Anbieter verfolgen eine ähnliche GPU-Virtualisierung im SR-IOV-Stil, und serverlose Inferenzplattformen verlassen sich zunehmend auf Partitionierung, um viele Modelle dicht zu packen und ungenutzte Verschwendung zu vermeiden.
Reale Umsetzung
Ein Cloud-Anbieter teilt einen A100 in sieben Instanzen auf, sodass sieben Kunden jeweils einen garantierten, isolierten GPU-Slice für Rückschlüsse erhalten.
Ein universitärer Forschungscluster stellt jedem Doktoranden eine 10-GB-MIG-Instanz für die Prototypenerstellung zur Verfügung, anstatt ganze Karten zu monopolisieren.
Ein Inferenzdienst packt mehrere kleine Sprach- und Bildmodelle auf einen H100, jedes in einer eigenen Partition mit vorhersehbarer Latenz.
Ein Kubernetes-Cluster bewirbt MIG-Instanzen als planbare Ressourcen, sodass Pods wie jede andere Ressource „nvidia.com/mig-1g.5gb“ anfordern.
Risiken und Leitplanken
Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
Infrastruktur- und Wartungskosten werden oft unterschätzt.
Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.
Implementierungs-Roadmap
Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
Benchmark unter realistischen Last- und Datenbedingungen.
Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Häufig gestellte Fragen
What is Multi-Instance GPU Partitioning?
Multi-Instance GPU (MIG) ist eine NVIDIA-Technologie, die eine einzelne physische GPU in mehrere isolierte Hardwarepartitionen aufteilt. Das ist wichtig, weil ein teurer Beschleuniger damit viele kleine Arbeitslasten gleichzeitig bedienen kann, ohne dass sie sich gegenseitig stören.
Welche Art von Isolation bietet MIG zwischen Instanzen?
MIG erzwingt die Isolierung der Hardware und weist jeder Instanz SMs, L2-Cache-Slices und Speicher zu, damit Arbeitslasten nicht störend wirken können.
Auf welcher NVIDIA-Architektur wurde MIG erstmals eingeführt?
MIG debütierte mit dem Ampere-basierten A100 und fuhr mit H100 und späteren Rechenzentrums-GPUs fort.
In wie viele Instanzen kann eine MIG-fähige GPU maximal aufgeteilt werden?
Eine MIG-fähige GPU wie die A100 kann in bis zu sieben unabhängige Instanzen partitioniert werden.
Was bedeutet „5 GB“ in einem MIG-Profil wie „1g.5gb“?
Das Profil codiert Compute-Slices (1 g) und den der Instanz zugewiesenen dedizierten Speicher (5 GB).
Für welche Arbeitsbelastung ist MIG besonders gut geeignet?
MIG glänzt, wenn viele kleine, isolierte Workloads (wie Inferenz) eine Karte mit garantierter Servicequalität teilen.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt