Többpéldányos GPU particionálás
A többpéldányos GPU (MIG) egy NVIDIA technológia, amely egyetlen fizikai GPU-t több elkülönített hardverpartícióra szeletel.
Áttekintés
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
Mély merülés
Az NVIDIA A100 (Ampere) segítségével bevezetett, majd a H100 és újabb adatközponti GPU-kon folytatódott MIG egy GPU-t akár hét független példányra hasít. A szoftveres időszeleteléstől eltérően a MIG valódi hardveres elkülönítést biztosít: minden példány saját dedikált streaming multiprocesszort (SM), L2 cache szeleteket, memóriavezérlőket és egy fix szeletet nagy sávszélességű memóriát kap. A 40 GB-os A100 hét 5 GB-os példányra osztható, vagy kevesebbre, nagyobbra. Minden partíció kisebb önálló GPU-ként viselkedik, így az egyik példányban zajos vagy összeomló feladat nem éheztetheti vagy ronthatja el a másikat. Ez a garantált szolgáltatásminőség teszi a MIG-et ideálissá következtetések kiszolgálásához, több bérlős fürtökhöz és olyan fejlesztői környezetekhez, ahol sok felhasználó osztozik egy kártyán.
Technikai betekintés
A MIG a GPU belső keresztlécének fizikai kapuzásával működik, így minden példánynak fix útvonala van a saját memóriaszeletéhez és az SM-ekhez. Az NVIDIA a profilokat olyan töredékekként határozza meg, mint az 1g,5 GB (egy számítási szelet, 5 GB) 7 g,40 GB-ig. A GPU-példány memóriát és SM-eket foglal le; ezen belül egy Compute Instance tovább osztja az SM-eket. Mivel a partíciók hardver által kényszerítettek, a hibák, az ECC hibák és a memória sávszélessége egyetlen példányra korlátozódik.
Stratégiai hatás
Költség és költségvetés
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Tisztább döntések
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
Minőségellenőrzés
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
A többpéldányos GPU-particionálás jövője
Ahogy a GPU-k 80 GB-ra, 141 GB-ra és még tovább nőnek, a particionálás vonzóbbá válik, mivel az egyes modellekhez ritkán van szükség egy teljes kártyára a következtetésekhez. Szorosabb Kubernetes és felhőintegráció, dinamikus újraparticionálás a csomópont lemerítése nélkül, és finomabb profilok. A versengő gyártók hasonló SR-IOV-stílusú GPU-virtualizációt folytatnak, és a szerver nélküli következtetési platformok egyre inkább a particionálásra támaszkodnak, hogy sok modellt sűrűn becsomagoljanak és csökkentsék az üresjárati veszteséget.
Valós megvalósítás
A felhőszolgáltató egy A100-at hét példányra oszt fel, így hét ügyfél mindegyike garantált, izolált GPU-szeletet kap következtetések levonására.
Egy egyetemi kutatócsoport minden doktorandusznak 10 GB-os MIG-példányt ad a prototípus elkészítéséhez, ahelyett, hogy teljes kártyákat monopolizálna.
Egy következtetési szolgáltatás több kis nyelvi és látási modellt csomagol egy H100-ra, mindegyik saját partíciójában, kiszámítható késleltetéssel.
A Kubernetes-fürt a MIG-példányokat ütemezhető erőforrásként hirdeti, így a podok az „nvidia.com/mig-1g.5gb” címet kérik, mint bármely más erőforrás.
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
Benchmark reális terhelési és adatviszonyok mellett.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Többfeladatos tanulás
Gyakran ismételt kérdések
What is Multi-Instance GPU Partitioning?
A többpéldányos GPU (MIG) egy NVIDIA technológia, amely egyetlen fizikai GPU-t több elkülönített hardverpartícióra szeletel. Ez azért fontos, mert lehetővé teszi, hogy egy drága gyorsító egyszerre sok kis munkaterhelést szolgáljon ki anélkül, hogy azok zavarnák egymást.
Milyen elszigetelést biztosít a MIG a példányok között?
A MIG kikényszeríti a hardver elkülönítését, az SM-eket, az L2 gyorsítótár-szeleteket és a memóriát minden egyes példányhoz, így a munkaterhelések nem zavarhatják.
Melyik NVIDIA architektúrán mutatták be először a MIG-et?
A MIG az Ampere-alapú A100-zal debütált, majd a H100-on és későbbi adatközponti GPU-kon folytatta.
Maximum hány példányra osztható fel egy MIG-képes GPU?
Egy MIG-képes GPU, mint például az A100, akár hét független példányra particionálható.
Mit jelöl egy MIG-profilban, mint például az „1g.5gb”?
A profil a példánynak adott számítási szeleteket (1g) és a dedikált memóriát (5GB) kódolja.
Melyik munkaterhelésre alkalmas különösen a MIG?
A MIG ragyog, ha sok kicsi, elszigetelt munkaterhelés (például következtetés) egy kártyán osztozik, garantált szolgáltatásminőséggel.