Als nächstesNächster Leitfaden
Hugging Face Beschleunigen Sie das Multi-GPU-Training
Technisch
Technischer Leitfaden
NVIDIA Multi-Instance GPU partitioniert unterstützte GPUs in Instanzen mit zugewiesenen Rechen- und Speicherressourcen.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Es kann die Freigabe für kleinere Arbeitslasten verbessern, aber Profilunterstützung und Isolationsgrenzen hängen von der GPU und der Konfiguration ab.
MIG wurde mit dem NVIDIA A100 eingeführt und wird auf ausgewählten späteren GPUs unterstützt. Eine GPU-Instanz gruppiert Rechenressourcen und dedizierte Speicherressourcen, einschließlich zugewiesener Pfade durch Cache und Speicherhardware. Auf einem A100 mit 40 GB können unterstützte Layouts bis zu sieben kleine GPU-Instanzen oder weniger größere GPU-Instanzen bereitstellen. Compute-Instanzen können die Rechenressourcen innerhalb einer GPU-Instanz weiter aufteilen und gleichzeitig deren Speicherressourcen teilen. Dies unterscheidet sich vom gewöhnlichen Software-Time-Slicing, bedeutet aber nicht, dass es gegen alle Fehler oder Störungen auf Geräteebene im gesamten Host und Dienst immun ist. Arbeitslastkapazität, unterstützte Profile und Betriebseinschränkungen sollten auf der tatsächlichen GPU getestet werden.
Ein Cloud-Anbieter teilt einen A100 in sieben Instanzen auf, sodass sieben Kunden jeweils einen garantierten, isolierten GPU-Slice für Rückschlüsse erhalten.
Ein universitärer Forschungscluster stellt jedem Doktoranden eine 10-GB-MIG-Instanz für die Prototypenerstellung zur Verfügung, anstatt ganze Karten zu monopolisieren.
Ein Inferenzdienst packt mehrere kleine Sprach- und Bildmodelle auf einen H100, jedes in einer eigenen Partition mit vorhersehbarer Latenz.
Ein Kubernetes-Cluster bewirbt MIG-Instanzen als planbare Ressourcen, sodass Pods wie jede andere Ressource „nvidia.com/mig-1g.5gb“ anfordern.
Wenn GPUs auf 80 GB, 141 GB und mehr wachsen, wird die Partitionierung attraktiver, da einzelne Modelle selten eine ganze Karte für die Schlussfolgerung benötigen. Erwarten Sie eine engere Kubernetes- und Cloud-Integration, dynamische Neupartitionierung ohne Belastung des Knotens und feinkörnigere Profile. Konkurrierende Anbieter verfolgen eine ähnliche GPU-Virtualisierung im SR-IOV-Stil, und serverlose Inferenzplattformen verlassen sich zunehmend auf Partitionierung, um viele Modelle dicht zu packen und ungenutzte Verschwendung zu vermeiden.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
NVIDIA Multi-Instance GPU partitioniert unterstützte GPUs in Instanzen mit zugewiesenen Rechen- und Speicherressourcen. Es kann die Freigabe für kleinere Arbeitslasten verbessern, aber Profilunterstützung und Isolationsgrenzen hängen von der GPU und der Konfiguration ab.
MIG weist Hardware-Ressourcen-Slices zu. Compute-Instanzen innerhalb einer gemeinsam genutzten GPU-Instanz haben eine andere Grenze und Fehler auf Geräteebene werden nicht allgemein behoben.
MIG debütierte mit dem Ampere-basierten A100 und fuhr mit H100 und späteren Rechenzentrums-GPUs fort.
Der A100 unterstützt Layouts von bis zu sieben GPU-Instanzen. Maximale Anzahlen und Profile sollten nicht auf alle GPU-Modelle verallgemeinert werden.
Das Profil codiert Compute-Slices (1 g) und den der Instanz zugewiesenen dedizierten Speicher (5 GB).
MIG glänzt, wenn viele kleine, isolierte Workloads (wie Inferenz) eine Karte mit garantierter Servicequalität teilen.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Hugging Face Beschleunigen Sie das Multi-GPU-Training
Technisch