ملٹی انسٹینس GPU پارٹیشننگ
ملٹی انسٹینس GPU (MIG) ایک NVIDIA ٹیکنالوجی ہے جو ایک ہی جسمانی GPU کو متعدد الگ تھلگ ہارڈویئر پارٹیشنز میں سلائس کرتی ہے۔
جائزہ
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
گہرا غوطہ
NVIDIA A100 (Ampere) کے ساتھ متعارف کرایا گیا اور H100 اور جدید ترین ڈیٹا سینٹر GPUs پر جاری، MIG ایک GPU کو سات آزاد مثالوں میں تیار کرتا ہے۔ سافٹ ویئر ٹائم سلائسنگ کے برعکس، MIG حقیقی ہارڈویئر آئسولیشن فراہم کرتا ہے: ہر ایک مثال کے لیے اس کے اپنے مخصوص اسٹریمنگ ملٹی پروسیسرز (SMs)، L2 کیش سلائسز، میموری کنٹرولرز، اور ہائی بینڈوتھ میموری کا ایک مقررہ سلائس ملتا ہے۔ 40GB کے ساتھ A100 کو سات 5GB مثالوں میں تقسیم کیا جا سکتا ہے، یا اس سے کم بڑے۔ ہر پارٹیشن ایک چھوٹے اسٹینڈ لون GPU کی طرح برتاؤ کرتا ہے، لہذا ایک مثال میں شور یا کریشنگ کام دوسرے کو بھوکا یا خراب نہیں کر سکتا۔ سروس کے معیار کی یہ ضمانت MIG کو انفرنس سرونگ، ملٹی ٹیننٹ کلسٹرز اور ترقیاتی ماحول کے لیے مثالی بناتی ہے جہاں بہت سے صارفین ایک کارڈ کا اشتراک کرتے ہیں۔
تکنیکی بصیرت
MIG جسمانی طور پر GPU کے اندرونی کراس بار کو گیٹ کرکے کام کرتا ہے لہذا ہر مثال کے پاس اس کی اپنی میموری سلائس اور SMs کا ایک مقررہ راستہ ہوتا ہے۔ NVIDIA پروفائلز کی وضاحت کرتا ہے جیسے 1g.5gb (ایک کمپیوٹ سلائس، 5GB) 7g.40gb تک۔ ایک GPU مثال میموری اور SMs کو محفوظ رکھتی ہے۔ اس کے اندر ایک کمپیوٹ مثال SMs کو مزید ذیلی تقسیم کرتی ہے۔ چونکہ پارٹیشنز ہارڈ ویئر سے نافذ ہیں، اس لیے فالٹس، ای سی سی کی خرابیاں، اور میموری بینڈوڈتھ ایک ہی مثال تک محدود رہتی ہیں۔
اسٹریٹجک اثر
لاگت اور بجٹ
فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
واضح فیصلے
تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
کوالٹی کنٹرول
انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
ملٹی انسٹینس GPU پارٹیشننگ کا مستقبل
جیسے جیسے GPUs 80GB، 141GB، اور اس سے آگے بڑھتے ہیں، تقسیم کاری زیادہ پرکشش ہو جاتی ہے کیونکہ انفرادی ماڈلز کو شاذ و نادر ہی اندازہ کے لیے پورے کارڈ کی ضرورت ہوتی ہے۔ سخت کبرنیٹس اور کلاؤڈ انٹیگریشن، نوڈ کو ختم کیے بغیر متحرک دوبارہ تقسیم، اور بہتر پروفائلز کی توقع کریں۔ مقابلہ کرنے والے وینڈرز اسی طرح کے SR-IOV طرز کے GPU ورچوئلائزیشن کی پیروی کر رہے ہیں، اور سرور لیس انفرنس پلیٹ فارم بہت سے ماڈلز کو گھنے پیک کرنے اور بیکار فضلہ کو کاٹنے کے لیے تقسیم کاری پر تیزی سے انحصار کرتے ہیں۔
حقیقی دنیا کا نفاذ
ایک کلاؤڈ فراہم کنندہ ایک A100 کو سات مثالوں میں تقسیم کرتا ہے تاکہ ہر سات صارفین کو اندازہ کے لیے ایک گارنٹی شدہ، الگ تھلگ GPU سلائس ملے۔
یونیورسٹی کا ایک ریسرچ کلسٹر ہر پی ایچ ڈی طالب علم کو پورے کارڈ پر اجارہ داری کرنے کی بجائے پروٹو ٹائپنگ کے لیے 10GB MIG مثال دیتا ہے۔
ایک انفرنس سروس کئی چھوٹی زبان اور وژن ماڈلز کو ایک H100 پر پیک کرتی ہے، ہر ایک اپنی پارٹیشن میں پیشین گوئی کی تاخیر کے ساتھ۔
ایک Kubernetes کلسٹر MIG مثالوں کو شیڈول کے قابل وسائل کے طور پر تشہیر کرتا ہے لہذا پوڈ کسی دوسرے وسائل کی طرح 'nvidia.com/mig-1g.5gb' کی درخواست کرتے ہیں۔
خطرات اور گارڈریلز
ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
نفاذ کا روڈ میپ
نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ملٹی ٹاسک لرننگ
اکثر پوچھے گئے سوالات
What is Multi-Instance GPU Partitioning?
ملٹی انسٹینس GPU (MIG) ایک NVIDIA ٹیکنالوجی ہے جو ایک ہی جسمانی GPU کو متعدد الگ تھلگ ہارڈویئر پارٹیشنز میں سلائس کرتی ہے۔ یہ اہم ہے کیونکہ یہ ایک مہنگے ایکسلریٹر کو ایک دوسرے کے ساتھ مداخلت کیے بغیر ایک ساتھ بہت سے چھوٹے کام کے بوجھ کو پورا کرنے دیتا ہے۔
مثالوں کے درمیان MIG کس قسم کی تنہائی فراہم کرتا ہے؟
MIG ہارڈ ویئر میں تنہائی کو نافذ کرتا ہے، SMs، L2 کیش سلائسس، اور میموری کو ہر ایک مثال کے لیے وقف کرتا ہے تاکہ کام کا بوجھ مداخلت نہ کر سکے۔
MIG سب سے پہلے کس NVIDIA فن تعمیر پر متعارف کرایا گیا تھا؟
MIG نے Ampere-based A100 کے ساتھ ڈیبیو کیا اور H100 اور بعد میں ڈیٹا سینٹر GPUs پر جاری رکھا۔
MIG کے قابل GPU کو زیادہ سے زیادہ کتنی تعداد میں تقسیم کیا جا سکتا ہے؟
MIG کے قابل GPU جیسے A100 کو سات آزاد مثالوں میں تقسیم کیا جا سکتا ہے۔
MIG پروفائل جیسے '1g.5gb' میں، '5gb' کس چیز کی نمائندگی کرتا ہے؟
پروفائل کمپیوٹ سلائسس (1 جی) اور مثال کے طور پر دی گئی وقف شدہ میموری (5 جی بی) کو انکوڈ کرتا ہے۔
MIG خاص طور پر کس کام کے بوجھ کے لیے موزوں ہے؟
MIG اس وقت چمکتا ہے جب بہت سے چھوٹے، الگ تھلگ کام کا بوجھ (جیسے اندازہ) سروس کے معیار کے ساتھ ایک کارڈ کا اشتراک کرتے ہیں۔