Műszaki ÚTMUTATÓ

Többpéldányos GPU particionálás

A NVIDIA többpéldányos GPU-partíciók a GPU-kat példányokká támogatták hozzárendelt számítási és memória-erőforrásokkal.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A többpéldányos GPU-particionálás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Mély merülés

MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.

Valós megvalósítás

A felhőszolgáltató egy A100-at hét példányra oszt fel, így hét ügyfél mindegyike garantált, izolált GPU-szeletet kap következtetések levonására.

Egy egyetemi kutatócsoport minden doktorandusznak 10 GB-os MIG-példányt ad a prototípus elkészítéséhez, ahelyett, hogy teljes kártyákat monopolizálna.

Egy következtetési szolgáltatás több kis nyelvi és látási modellt csomagol egy H100-ra, mindegyik saját partíciójában, kiszámítható késleltetéssel.

A Kubernetes-fürt a MIG-példányokat ütemezhető erőforrásként hirdeti, így a podok az „nvidia.com/mig-1g.5gb” címet kérik, mint bármely más erőforrás.

A többpéldányos GPU-particionálás jövője

Ahogy a GPU-k 80 GB-ra, 141 GB-ra és még tovább nőnek, a particionálás vonzóbbá válik, mivel az egyes modellekhez ritkán van szükség egy teljes kártyára a következtetésekhez. Szorosabb Kubernetes és felhőintegráció, dinamikus újraparticionálás a csomópont lemerítése nélkül, és finomabb profilok. A versengő gyártók hasonló SR-IOV-stílusú GPU-virtualizációt folytatnak, és a szerver nélküli következtetési platformok egyre inkább a particionálásra támaszkodnak, hogy sok modellt sűrűn becsomagoljanak és csökkentsék az üresjárati veszteséget.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Multi-Instance GPU Partitioning quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a többpéldányos GPU-particionálás?

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?

MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.

Melyik NVIDIA architektúrán mutatták be először a MIG-et?

A MIG az Ampere-alapú A100-zal debütált, majd a H100-on és későbbi adatközponti GPU-kon folytatta.

On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?

The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.

Mit jelöl egy MIG-profilban, mint például az „1g.5gb”?

A profil a példánynak adott számítási szeleteket (1g) és a dedikált memóriát (5GB) kódolja.

Melyik munkaterhelésre alkalmas különösen a MIG?

A MIG ragyog, ha sok kicsi, elszigetelt munkaterhelés (például következtetés) egy kártyán osztozik, garantált szolgáltatásminőséggel.