Technischer Leitfaden

Multi-Instanz-GPU-Partitionierung

NVIDIA Multi-Instance GPU partitioniert unterstützte GPUs in Instanzen mit zugewiesenen Rechen- und Speicherressourcen.

Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min

Auf dieser Seite2 Minuten gelesen
  1. Übersicht
  2. Tiefer Einblick
  3. Reale Umsetzung
  4. Die Zukunft der Multi-Instanz-GPU-Partitionierung
  5. In die Tat umsetzen
  6. Entdecken Sie weiter
  7. Häufig gestellte Fragen

Übersicht

Es kann die Freigabe für kleinere Arbeitslasten verbessern, aber Profilunterstützung und Isolationsgrenzen hängen von der GPU und der Konfiguration ab.

Tiefer Einblick

MIG wurde mit dem NVIDIA A100 eingeführt und wird auf ausgewählten späteren GPUs unterstützt. Eine GPU-Instanz gruppiert Rechenressourcen und dedizierte Speicherressourcen, einschließlich zugewiesener Pfade durch Cache und Speicherhardware. Auf einem A100 mit 40 GB können unterstützte Layouts bis zu sieben kleine GPU-Instanzen oder weniger größere GPU-Instanzen bereitstellen. Compute-Instanzen können die Rechenressourcen innerhalb einer GPU-Instanz weiter aufteilen und gleichzeitig deren Speicherressourcen teilen. Dies unterscheidet sich vom gewöhnlichen Software-Time-Slicing, bedeutet aber nicht, dass es gegen alle Fehler oder Störungen auf Geräteebene im gesamten Host und Dienst immun ist. Arbeitslastkapazität, unterstützte Profile und Betriebseinschränkungen sollten auf der tatsächlichen GPU getestet werden.

Reale Umsetzung

Ein Cloud-Anbieter teilt einen A100 in sieben Instanzen auf, sodass sieben Kunden jeweils einen garantierten, isolierten GPU-Slice für Rückschlüsse erhalten.

Ein universitärer Forschungscluster stellt jedem Doktoranden eine 10-GB-MIG-Instanz für die Prototypenerstellung zur Verfügung, anstatt ganze Karten zu monopolisieren.

Ein Inferenzdienst packt mehrere kleine Sprach- und Bildmodelle auf einen H100, jedes in einer eigenen Partition mit vorhersehbarer Latenz.

Ein Kubernetes-Cluster bewirbt MIG-Instanzen als planbare Ressourcen, sodass Pods wie jede andere Ressource „nvidia.com/mig-1g.5gb“ anfordern.

Die Zukunft der Multi-Instanz-GPU-Partitionierung

Wenn GPUs auf 80 GB, 141 GB und mehr wachsen, wird die Partitionierung attraktiver, da einzelne Modelle selten eine ganze Karte für die Schlussfolgerung benötigen. Erwarten Sie eine engere Kubernetes- und Cloud-Integration, dynamische Neupartitionierung ohne Belastung des Knotens und feinkörnigere Profile. Konkurrierende Anbieter verfolgen eine ähnliche GPU-Virtualisierung im SR-IOV-Stil, und serverlose Inferenzplattformen verlassen sich zunehmend auf Partitionierung, um viele Modelle dicht zu packen und ungenutzte Verschwendung zu vermeiden.

In die Tat umsetzen

Warum es wichtig ist

  • Kosten und Budget. Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
  • Klarere Entscheidungen. Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
  • Qualitätskontrolle. Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.

Achten Sie auf

  • Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
  • Infrastruktur- und Wartungskosten werden oft unterschätzt.
  • Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.

Nächste Schritte

  1. Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
  2. Benchmark unter realistischen Last- und Datenbedingungen.
  3. Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
  4. Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.

Entdecken Sie weiter

Kostenloser Newsletter

Erhalten Sie die tägliche KI-Briefing

Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.

Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.

Testen Sie sich selbst

Nehmen Sie am Quiz zur Multi-Instanz-GPU-Partitionierung teil

Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.

Quiz starten

Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende

Häufig gestellte Fragen

Was ist Multi-Instanz-GPU-Partitionierung?

NVIDIA Multi-Instance GPU partitioniert unterstützte GPUs in Instanzen mit zugewiesenen Rechen- und Speicherressourcen. Es kann die Freigabe für kleinere Arbeitslasten verbessern, aber Profilunterstützung und Isolationsgrenzen hängen von der GPU und der Konfiguration ab.

Welche Ressourcengrenze unterscheidet separate MIG-GPU-Instanzen vom Software-Zeitschnitt (Time-Slicing)?

MIG weist Hardware-Ressourcen-Slices zu. Compute-Instanzen innerhalb einer gemeinsam genutzten GPU-Instanz haben eine andere Grenze und Fehler auf Geräteebene werden nicht allgemein behoben.

Auf welcher NVIDIA-Architektur wurde MIG erstmals eingeführt?

MIG debütierte mit dem Ampere-basierten A100 und fuhr mit H100 und späteren Rechenzentrums-GPUs fort.

Wie viele GPU-Instanzen kann ein Layout auf einer A100 40 GB bei Verwendung unterstützter kleiner Instanzprofile bereitstellen?

Der A100 unterstützt Layouts von bis zu sieben GPU-Instanzen. Maximale Anzahlen und Profile sollten nicht auf alle GPU-Modelle verallgemeinert werden.

Was bedeutet „5 GB“ in einem MIG-Profil wie „1g.5gb“?

Das Profil codiert Compute-Slices (1 g) und den der Instanz zugewiesenen dedizierten Speicher (5 GB).

Für welche Arbeitsbelastung ist MIG besonders gut geeignet?

MIG glänzt, wenn viele kleine, isolierte Workloads (wie Inferenz) eine Karte mit garantierter Servicequalität teilen.