Multi-instans GPU-partitionering
Multi-Instance GPU (MIG) är en NVIDIA-teknik som delar upp en enda fysisk GPU i flera isolerade hårdvarupartitioner.
Översikt
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
Djupdykning
MIG introducerades med NVIDIA A100 (Ampere) och fortsatte på H100 och nyare datacenter-GPU:er, och skär in en GPU i upp till sju oberoende instanser. Till skillnad från mjukvarutidsdelning ger MIG verklig hårdvaruisolering: varje instans får sina egna dedikerade strömmande multiprocessorer (SM), L2-cachesegment, minneskontroller och en fast del av minne med hög bandbredd. En A100 med 40GB kan delas upp i sju 5GB-instanser, eller färre större. Varje partition beter sig som en mindre fristående GPU, så ett bullrigt eller kraschande jobb i ett fall kan inte svälta eller korrumpera ett annat. Denna garanterade servicekvalitet gör MIG idealisk för slutledningsservering, multi-tenant-kluster och utvecklingsmiljöer där många användare delar ett kort.
Teknisk insikt
MIG fungerar genom att fysiskt grinda GPU:s interna tvärbalk så att varje instans har en fast väg till sin egen minnesdel och SM:er. NVIDIA definierar profiler som fraktioner som 1g.5gb (en beräkningsdel, 5GB) upp till 7g.40gb. En GPU-instans reserverar minne och SMS; inom den delar en Compute Instance upp SM:en ytterligare. Eftersom partitionerna är hårdvarutillämpade förblir fel, ECC-fel och minnesbandbredd begränsade till en enda instans.
Strategisk inverkan
Cost and budget
Arkitekturbeslut driver prestanda och driftskostnader i flera år.
Clearer decisions
Teknisk utbildning hjälper team att välja rätt stack, inte bara den nyaste.
Quality control
Bättre tekniska val minskar tillförlitlighetsincidenter i produktionen.
Framtiden för multi-instans GPU-partitionering
När GPU:er växer till 80 GB, 141 GB och längre, blir partitionering mer attraktivt eftersom enskilda modeller sällan behöver ett helt kort för slutledning. Förvänta dig stramare Kubernetes och molnintegration, dynamisk ompartitionering utan att dränera noden och finare profiler. Konkurrerande leverantörer eftersträvar liknande SR-IOV-liknande GPU-virtualisering, och serverlösa slutledningsplattformar förlitar sig alltmer på partitionering för att packa många modeller tätt och minska ledigt avfall.
Real-World Implementation
En molnleverantör delar upp en A100 i sju instanser så att sju kunder var och en får en garanterad, isolerad GPU-del för slutledning.
Ett universitetsforskningskluster ger varje doktorand en 10GB MIG-instans för prototyper istället för att monopolisera hela kort.
En inferenstjänst packar flera små språk- och visionmodeller på en H100, var och en i sin egen partition med förutsägbar latens.
Ett Kubernetes-kluster annonserar MIG-instanser som schemaläggbara resurser så pods begär "nvidia.com/mig-1g.5gb" som vilken annan resurs som helst.
Risker & skyddsräcken
Att optimera ett riktmärke kan dölja bredare systemsvagheter.
Infrastruktur- och underhållskostnader underskattas ofta.
Säkerhets- och observerbarhetsluckor kan växa i takt med att systemen blir mer komplexa.
Färdplan för genomförande
Definiera latens-, kvalitet- och kostnadsmål före implementering.
Benchmark under realistiska belastnings- och dataförhållanden.
Instrumentövervakning för fel, drift och användarpåverkan.
Förbered återställnings- och incidentsvarsvägar innan skalning.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Multi-Task Learning
Frequently asked questions
What is Multi-Instance GPU Partitioning?
Multi-Instance GPU (MIG) är en NVIDIA-teknik som delar upp en enda fysisk GPU i flera isolerade hårdvarupartitioner. Det är viktigt eftersom det låter en dyr accelerator tjäna många små arbetsbelastningar samtidigt utan att de stör varandra.
Vilken typ av isolering ger MIG mellan instanserna?
MIG upprätthåller isolering i hårdvaran, dedikerar SM:er, L2-cachedelar och minne till varje instans så att arbetsbelastningar inte kan störa.
På vilken NVIDIA-arkitektur introducerades MIG först?
MIG debuterade med den Ampere-baserade A100 och fortsatte på H100 och senare datacenter GPU:er.
Vad är det maximala antalet instanser som en MIG-kompatibel GPU kan delas upp i?
En MIG-kapabel GPU som A100 kan delas upp i upp till sju oberoende instanser.
I en MIG-profil som '1g.5gb', vad representerar '5gb'?
Profilen kodar beräkningsskivor (1g) och det dedikerade minnet (5GB) som ges till instansen.
Vilken arbetsbelastning är MIG särskilt väl lämpad för?
MIG lyser när många små, isolerade arbetsbelastningar (som slutledning) delar ett kort med garanterad servicekvalitet.