Technický PRŮVODCE

Multi-Instance GPU Partitioning

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost multi-instance GPU Partitioning
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Hluboký ponor

MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.

Real-World Implementace

Poskytovatel cloudu rozdělí jeden A100 do sedmi instancí, takže každý ze sedmi zákazníků získá zaručený izolovaný segment GPU pro odvození.

Univerzitní výzkumný klastr poskytuje každému doktorandovi 10GB instanci MIG pro prototypování namísto monopolizace celých karet.

Služba inference zabalí několik malých jazykových a vizuálních modelů do jednoho H100, každý ve svém vlastním oddílu s předvídatelnou latencí.

Cluster Kubernetes inzeruje instance MIG jako plánovatelné zdroje, takže moduly požadují 'nvidia.com/mig-1g.5gb' jako jakýkoli jiný zdroj.

Budoucnost multi-instance GPU Partitioning

Jak GPU rostou na 80 GB, 141 GB a více, dělení se stává atraktivnějším, protože jednotlivé modely zřídka potřebují celou kartu pro odvození. Očekávejte těsnější integraci Kubernetes a cloudu, dynamické přerozdělování bez vyčerpání uzlu a jemnější profily. Konkurenční dodavatelé usilují o podobnou virtualizaci GPU ve stylu SR-IOV a bezserverové inferenční platformy stále více spoléhají na dělení, aby bylo mnoho modelů hustě zabaleno a omezilo se nevyužité plýtvání.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Multi-Instance GPU Partitioning quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Multi-Instance GPU Partitioning?

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?

MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.

Na jaké architektuře NVIDIA byl MIG poprvé představen?

MIG debutoval s A100 na bázi Ampere a pokračoval na H100 a pozdějších GPU pro datová centra.

On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?

The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.

Co v profilu MIG, jako je „1g.5gb“, představuje „5gb“?

Profil kóduje výpočetní řezy (1 g) a vyhrazenou paměť (5 GB) přidělenou instanci.

Pro jaké pracovní zatížení je MIG obzvláště vhodný?

MIG zazáří, když mnoho malých, izolovaných úloh (jako je odvození) sdílí jednu kartu se zaručenou kvalitou služeb.