VolgendeVolgende gids
Hugging Face Versnel voor multi-GPU-training
Technisch
Technische GIDS
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Luister naar deze gidsAI-verteld · ~2 min
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Een cloudprovider splitst één A100 op in zeven instances, zodat zeven klanten elk een gegarandeerd, geïsoleerd GPU-segment krijgen voor gevolgtrekking.
Een universitair onderzoekscluster geeft elke promovendus een MIG-instantie van 10 GB voor het maken van prototypen in plaats van het monopoliseren van hele kaarten.
Een inferentieservice verpakt verschillende kleine taal- en visiemodellen op één H100, elk op een eigen partitie met voorspelbare latentie.
Een Kubernetes-cluster adverteert MIG-instanties als planbare bronnen, zodat pods 'nvidia.com/mig-1g.5gb' aanvragen, net als elke andere bron.
Naarmate GPU's groeien naar 80 GB, 141 GB en meer, wordt partitionering aantrekkelijker omdat individuele modellen zelden een hele kaart nodig hebben voor gevolgtrekking. Verwacht strakkere Kubernetes- en cloudintegratie, dynamische herpartitionering zonder het knooppunt leeg te laten lopen, en fijnmaziger profielen. Concurrerende leveranciers streven naar soortgelijke GPU-virtualisatie in SR-IOV-stijl, en serverloze inferentieplatforms vertrouwen steeds meer op partitionering om veel modellen dicht op elkaar te stapelen en inactieve verspilling tegen te gaan.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
MIG debuteerde met de Ampere-gebaseerde A100 en ging verder met H100 en latere datacenter-GPU's.
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Het profiel codeert voor compute-plakken (1g) en het toegewezen geheugen (5GB) dat aan de instantie wordt gegeven.
MIG schittert wanneer veel kleine, geïsoleerde werklasten (zoals inferentie) één kaart delen met gegarandeerde servicekwaliteit.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Hugging Face Versnel voor multi-GPU-training
Technisch