DalšíDalší průvodce
Hugging Face Akcelerace pro trénink s více GPU
Technický
Technický PRŮVODCE
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Poskytovatel cloudu rozdělí jeden A100 do sedmi instancí, takže každý ze sedmi zákazníků získá zaručený izolovaný segment GPU pro odvození.
Univerzitní výzkumný klastr poskytuje každému doktorandovi 10GB instanci MIG pro prototypování namísto monopolizace celých karet.
Služba inference zabalí několik malých jazykových a vizuálních modelů do jednoho H100, každý ve svém vlastním oddílu s předvídatelnou latencí.
Cluster Kubernetes inzeruje instance MIG jako plánovatelné zdroje, takže moduly požadují 'nvidia.com/mig-1g.5gb' jako jakýkoli jiný zdroj.
Jak GPU rostou na 80 GB, 141 GB a více, dělení se stává atraktivnějším, protože jednotlivé modely zřídka potřebují celou kartu pro odvození. Očekávejte těsnější integraci Kubernetes a cloudu, dynamické přerozdělování bez vyčerpání uzlu a jemnější profily. Konkurenční dodavatelé usilují o podobnou virtualizaci GPU ve stylu SR-IOV a bezserverové inferenční platformy stále více spoléhají na dělení, aby bylo mnoho modelů hustě zabaleno a omezilo se nevyužité plýtvání.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
MIG debutoval s A100 na bázi Ampere a pokračoval na H100 a pozdějších GPU pro datová centra.
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Profil kóduje výpočetní řezy (1 g) a vyhrazenou paměť (5 GB) přidělenou instanci.
MIG zazáří, když mnoho malých, izolovaných úloh (jako je odvození) sdílí jednu kartu se zaručenou kvalitou služeb.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Hugging Face Akcelerace pro trénink s více GPU
Technický