Mai departeUrmătorul ghid
Hugging Face Accelerate for Multi-GPU Training
Tehnic
GHID tehnic
Partiționare GPU cu mai multe instanțe
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Scufundare în profunzime
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Implementare în lumea reală
Un furnizor de cloud împarte un A100 în șapte instanțe, astfel încât șapte clienți să primească fiecare o porțiune GPU garantată și izolată pentru deducere.
Un cluster de cercetare universitar oferă fiecărui doctorand o instanță MIG de 10 GB pentru prototipare, în loc să monopolizeze carduri întregi.
Un serviciu de inferență împachetează mai multe modele mici de limbaj și viziune într-un singur H100, fiecare în propria sa partiție cu latență previzibilă.
Un cluster Kubernetes face publicitate instanțelor MIG ca resurse programabile, astfel încât podurile solicită „nvidia.com/mig-1g.5gb” ca orice altă resursă.
Viitorul partiționării GPU cu mai multe instanțe
Pe măsură ce GPU-urile cresc la 80 GB, 141 GB și mai mult, partiționarea devine mai atractivă, deoarece modelele individuale rareori au nevoie de un card întreg pentru deducere. Așteptați-vă la Kubernetes și la integrare în cloud mai strânsă, la repartiționare dinamică fără a epuiza nodul și la profiluri mai fine. Furnizorii concurenți urmăresc o virtualizare GPU similară în stil SR-IOV, iar platformele de inferență fără server se bazează din ce în ce mai mult pe partiționare pentru a împacheta multe modele și a reduce risipa inactivă.
Punând-o în practică
De ce contează
- Cost și buget. Deciziile de arhitectură generează performanța și costurile de operare de ani de zile.
- Decizii mai clare. Educația tehnică ajută echipele să aleagă stiva potrivită, nu doar cea mai nouă.
- Controlul calității. Opțiuni de inginerie mai bune reduc incidentele de fiabilitate în producție.
Atenție la
- Optimizarea unui punct de referință poate ascunde slăbiciunile mai largi ale sistemului.
- Costurile de infrastructură și întreținere sunt adesea subestimate.
- Lacunele de securitate și observabilitate pot crește pe măsură ce sistemele devin mai complexe.
Următorii pași
- Definiți obiectivele de latență, calitate și cost înainte de implementare.
- Benchmark în condiții realiste de încărcare și date.
- Monitorizarea instrumentelor pentru erori, deriva și impactul utilizatorului.
- Pregătiți căile de retragere și răspuns la incident înainte de scalare.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Multi-Instance GPU Partitioning quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
What is Multi-Instance GPU Partitioning?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
Pe ce arhitectură NVIDIA a fost introdus prima dată MIG?
MIG a debutat cu A100 bazat pe Ampere și a continuat pe H100 și mai târziu pe GPU-uri pentru centre de date.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Într-un profil MIG precum „1g.5gb”, ce reprezintă „5gb”?
Profilul codifică secțiunile de calcul (1g) și memoria dedicată (5GB) dată instanței.
Pentru ce sarcină de lucru este potrivită mai ales MIG?
MIG strălucește atunci când multe sarcini de lucru mici, izolate (cum ar fi inferența) împărtășesc un card cu calitate garantată a serviciilor.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect