LegközelebbKövetkező útmutató
Hugging Face Accelerate a több GPU-s képzéshez
Műszaki
Műszaki ÚTMUTATÓ
A NVIDIA többpéldányos GPU-partíciók a GPU-kat példányokká támogatták hozzárendelt számítási és memória-erőforrásokkal.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
A felhőszolgáltató egy A100-at hét példányra oszt fel, így hét ügyfél mindegyike garantált, izolált GPU-szeletet kap következtetések levonására.
Egy egyetemi kutatócsoport minden doktorandusznak 10 GB-os MIG-példányt ad a prototípus elkészítéséhez, ahelyett, hogy teljes kártyákat monopolizálna.
Egy következtetési szolgáltatás több kis nyelvi és látási modellt csomagol egy H100-ra, mindegyik saját partíciójában, kiszámítható késleltetéssel.
A Kubernetes-fürt a MIG-példányokat ütemezhető erőforrásként hirdeti, így a podok az „nvidia.com/mig-1g.5gb” címet kérik, mint bármely más erőforrás.
Ahogy a GPU-k 80 GB-ra, 141 GB-ra és még tovább nőnek, a particionálás vonzóbbá válik, mivel az egyes modellekhez ritkán van szükség egy teljes kártyára a következtetésekhez. Szorosabb Kubernetes és felhőintegráció, dinamikus újraparticionálás a csomópont lemerítése nélkül, és finomabb profilok. A versengő gyártók hasonló SR-IOV-stílusú GPU-virtualizációt folytatnak, és a szerver nélküli következtetési platformok egyre inkább a particionálásra támaszkodnak, hogy sok modellt sűrűn becsomagoljanak és csökkentsék az üresjárati veszteséget.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
A MIG az Ampere-alapú A100-zal debütált, majd a H100-on és későbbi adatközponti GPU-kon folytatta.
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
A profil a példánynak adott számítási szeleteket (1g) és a dedikált memóriát (5GB) kódolja.
A MIG ragyog, ha sok kicsi, elszigetelt munkaterhelés (például következtetés) egy kártyán osztozik, garantált szolgáltatásminőséggel.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Hugging Face Accelerate a több GPU-s képzéshez
Műszaki