ٹیکنیکل گائیڈ

ملٹی انسٹینس GPU پارٹیشننگ

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.

اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min

پڑھنا شروع کریں۔کوئز لیں۔
اس صفحہ پر2 منٹ پڑھیں
  1. جائزہ
  2. گہرا غوطہ
  3. حقیقی دنیا کا نفاذ
  4. ملٹی انسٹینس GPU پارٹیشننگ کا مستقبل
  5. اسے عملی جامہ پہنانا
  6. دریافت کرتے رہیں
  7. اکثر پوچھے گئے سوالات

جائزہ

It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

گہرا غوطہ

MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.

حقیقی دنیا کا نفاذ

ایک کلاؤڈ فراہم کنندہ ایک A100 کو سات مثالوں میں تقسیم کرتا ہے تاکہ ہر سات صارفین کو اندازہ کے لیے ایک گارنٹی شدہ، الگ تھلگ GPU سلائس ملے۔

یونیورسٹی کا ایک ریسرچ کلسٹر ہر پی ایچ ڈی طالب علم کو پورے کارڈ پر اجارہ داری کرنے کی بجائے پروٹو ٹائپنگ کے لیے 10GB MIG مثال دیتا ہے۔

ایک انفرنس سروس کئی چھوٹی زبان اور وژن ماڈلز کو ایک H100 پر پیک کرتی ہے، ہر ایک اپنی پارٹیشن میں پیشین گوئی کی تاخیر کے ساتھ۔

ایک Kubernetes کلسٹر MIG مثالوں کو شیڈول کے قابل وسائل کے طور پر تشہیر کرتا ہے لہذا پوڈ کسی دوسرے وسائل کی طرح 'nvidia.com/mig-1g.5gb' کی درخواست کرتے ہیں۔

ملٹی انسٹینس GPU پارٹیشننگ کا مستقبل

جیسے جیسے GPUs 80GB، 141GB، اور اس سے آگے بڑھتے ہیں، تقسیم کاری زیادہ پرکشش ہو جاتی ہے کیونکہ انفرادی ماڈلز کو شاذ و نادر ہی اندازہ کے لیے پورے کارڈ کی ضرورت ہوتی ہے۔ سخت کبرنیٹس اور کلاؤڈ انٹیگریشن، نوڈ کو ختم کیے بغیر متحرک دوبارہ تقسیم، اور بہتر پروفائلز کی توقع کریں۔ مقابلہ کرنے والے وینڈرز اسی طرح کے SR-IOV طرز کے GPU ورچوئلائزیشن کی پیروی کر رہے ہیں، اور سرور لیس انفرنس پلیٹ فارم بہت سے ماڈلز کو گھنے پیک کرنے اور بیکار فضلہ کو کاٹنے کے لیے تقسیم کاری پر تیزی سے انحصار کرتے ہیں۔

اسے عملی جامہ پہنانا

یہ کیوں اہمیت رکھتا ہے۔

  • لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
  • واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
  • کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔

پر نگاہ رکھیں

  • ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
  • بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
  • سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔

اگلے اقدامات

  1. نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
  2. حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
  3. غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
  4. اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔

دریافت کرتے رہیں

AI بینچ مارکس

تکنیکی اختیارات کا موازنہ کرتے وقت تشخیص کا صحیح استعمال کریں۔گائیڈ پڑھیں

کمک سیکھنا

تکنیکی تربیت کی حکمت عملیوں کی گہرائی میں جائیں۔گائیڈ پڑھیں

مفت نیوز لیٹر

روزانہ AI بریفنگ حاصل کریں

ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔

ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔

اپنے آپ کو جانچیں۔

Take the Multi-Instance GPU Partitioning quiz

ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔

کوئز شروع کریں۔

مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔

اکثر پوچھے گئے سوالات

What is Multi-Instance GPU Partitioning?

NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.

Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?

MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.

MIG سب سے پہلے کس NVIDIA فن تعمیر پر متعارف کرایا گیا تھا؟

MIG نے Ampere-based A100 کے ساتھ ڈیبیو کیا اور H100 اور بعد میں ڈیٹا سینٹر GPUs پر جاری رکھا۔

On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?

The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.

MIG پروفائل جیسے '1g.5gb' میں، '5gb' کس چیز کی نمائندگی کرتا ہے؟

پروفائل کمپیوٹ سلائسس (1 جی) اور مثال کے طور پر دی گئی وقف شدہ میموری (5 جی بی) کو انکوڈ کرتا ہے۔

MIG خاص طور پر کس کام کے بوجھ کے لیے موزوں ہے؟

MIG اس وقت چمکتا ہے جب بہت سے چھوٹے، الگ تھلگ کام کا بوجھ (جیسے اندازہ) سروس کے معیار کے ساتھ ایک کارڈ کا اشتراک کرتے ہیں۔

سیکھتے رہیں

متعلقہ گائیڈز

اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔

مفت AI سرٹیفکیٹ حاصل کریں۔ایک مختصر مفت کورس اور امتحان۔ کوئی قیمت نہیں، کوئی کارڈ نہیں۔ تقریباً 2.5 گھنٹے۔مفت شروع کریں →