Technische GIDS

GPU-partitionering met meerdere exemplaren

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van GPU-partitionering met meerdere instanties
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Diepe duik

MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.

Implementatie in de echte wereld

Een cloudprovider splitst één A100 op in zeven instances, zodat zeven klanten elk een gegarandeerd, geïsoleerd GPU-segment krijgen voor gevolgtrekking.

Een universitair onderzoekscluster geeft elke promovendus een MIG-instantie van 10 GB voor het maken van prototypen in plaats van het monopoliseren van hele kaarten.

Een inferentieservice verpakt verschillende kleine taal- en visiemodellen op één H100, elk op een eigen partitie met voorspelbare latentie.

Een Kubernetes-cluster adverteert MIG-instanties als planbare bronnen, zodat pods 'nvidia.com/mig-1g.5gb' aanvragen, net als elke andere bron.

De toekomst van GPU-partitionering met meerdere instanties

Naarmate GPU's groeien naar 80 GB, 141 GB en meer, wordt partitionering aantrekkelijker omdat individuele modellen zelden een hele kaart nodig hebben voor gevolgtrekking. Verwacht strakkere Kubernetes- en cloudintegratie, dynamische herpartitionering zonder het knooppunt leeg te laten lopen, en fijnmaziger profielen. Concurrerende leveranciers streven naar soortgelijke GPU-virtualisatie in SR-IOV-stijl, en serverloze inferentieplatforms vertrouwen steeds meer op partitionering om veel modellen dicht op elkaar te stapelen en inactieve verspilling tegen te gaan.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Multi-Instance GPU Partitioning quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

What is Multi-Instance GPU Partitioning?

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?

MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.

Op welke NVIDIA-architectuur werd MIG voor het eerst geïntroduceerd?

MIG debuteerde met de Ampere-gebaseerde A100 en ging verder met H100 en latere datacenter-GPU's.

On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?

The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.

Wat vertegenwoordigt '5gb' in een MIG-profiel zoals '1g.5gb'?

Het profiel codeert voor compute-plakken (1g) en het toegewezen geheugen (5GB) dat aan de instantie wordt gegeven.

Voor welke werklast is MIG vooral geschikt?

MIG schittert wanneer veel kleine, geïsoleerde werklasten (zoals inferentie) één kaart delen met gegarandeerde servicekwaliteit.