ٹیکنیکل گائیڈ
ماڈل اور پائپ لائن متوازی
جب ایک ماڈل ایک GPU پر فٹ ہونے کے لیے بہت بڑا ہوتا ہے، تو ماڈل اور پائپ لائن کی ہم آہنگی ماڈل کو خود ہی آلات پر تقسیم کرتی ہے۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
یہی وہ چیز ہے جس کی وجہ سے سیکڑوں اربوں پیرامیٹرز کے ساتھ دیوہیکل زبان کے ماڈلز کی تربیت جسمانی طور پر ممکن ہوتی ہے۔
گہرا غوطہ
ماڈل متوازی ایک ماڈل کو متعدد GPUs میں تقسیم کرتا ہے لہذا کسی بھی ڈیوائس کو تمام وزن رکھنے کی ضرورت نہیں ہے۔ دو اہم ذائقے ہیں۔ ٹینسر (انٹرا لیئر) متوازی ریاضی کو ایک پرت کے اندر تقسیم کرتا ہے، جیسے GPUs میں ایک بڑے میٹرکس ضرب کو کاٹنا جو آؤٹ پٹ کے ہر حصے کی گنتی کرتا ہے۔ پائپ لائن (انٹر لیئر) متوازی مختلف GPUs کو لگاتار مختلف پرتوں کو تفویض کرتی ہے، لہذا پرت بلاک 1 GPU 0 پر رہتا ہے، GPU 1 پر بلاک 2، اور اسی طرح، ایکٹیویشنز کے ساتھ اسمبلی لائن کی طرح آگے بڑھتا ہے۔ بولی پائپ لائننگ کے ساتھ چیلنج 'بلبلا' ہے: جب کہ GPU 0 پہلے بیچ پر کام کرتا ہے، نیچے کی طرف GPUs بیکار رہتے ہیں۔ پائپ لائننگ ہر بیچ کو مائیکرو بیچوں میں تقسیم کرتی ہے تاکہ تمام مراحل مصروف رہیں، ڈرامائی طور پر استعمال میں بہتری آئے۔
حقیقی دنیا کا نفاذ
NVIDIA Megatron-LM کے ساتھ GPT طرز کے ماڈلز کی تربیت، جو ہر ٹرانسفارمر پرت کی توجہ اور فیڈ فارورڈ میٹرکس کو GPUs میں ٹینسر متوازی کے ذریعے تقسیم کرتا ہے۔
GPipe کا استعمال ایک دیو ہیکل وژن یا لینگویج ماڈل کی مختلف تہوں کو الگ ایکسلریٹرز پر رکھنے کے لیے جبکہ مائیکرو بیچنگ انہیں مصروف رکھتی ہے۔
ڈیپ اسپیڈ کا پائپ لائن انجن ملٹی سو بلین پیرامیٹر ماڈل کو کئی نوڈس میں مراحل میں تقسیم کرتا ہے۔
ایک واحد 8-GPU سرور کے اندر ٹینسر متوازی کو یکجا کرنا پائپ لائن کے متوازی کے ساتھ ایک سے زیادہ سرورز پر پھیلا ہوا ماڈل کو تربیت دینے کے لیے ایک مشین کے لیے بہت بڑا ہے۔
ماڈل اور پائپ لائن متوازی کا مستقبل
کمپیوٹ اور کمیونیکیشن کو متوازن کرنے کے لیے پروفائلنگ اور سرچ کا استعمال کرتے ہوئے، فریم ورکس تیزی سے یہ فیصلہ کرنے کے مشکل مسئلے کو خودکار بناتا ہے کہ ماڈل کو کس طرح ڈیوائسز میں تقسیم کیا جائے۔ ٹینسر، پائپ لائن، اور ڈیٹا متوازی (3D متوازی) کے سخت انضمام کی توقع کریں، پائپ لائن کے بلبلوں کو تقریباً ختم کرنے کے لیے بہتر مائیکرو بیچ شیڈولنگ، اور تیز تر آپس میں جڑے ہوئے ہارڈ ویئر کی توقع ہے تاکہ چپس پر ایک ہی پرت کو تقسیم کرنا ہمیشہ سے بڑے ماڈلز کے لیے سستا اور زیادہ معمول بن جاتا ہے۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the Model and Pipeline Parallelism quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
ماڈل اور پائپ لائن متوازی کیا ہے؟
جب ایک ماڈل ایک GPU پر فٹ ہونے کے لیے بہت بڑا ہوتا ہے، تو ماڈل اور پائپ لائن کی ہم آہنگی ماڈل کو خود ہی آلات پر تقسیم کرتی ہے۔ یہی وہ چیز ہے جس کی وجہ سے سیکڑوں اربوں پیرامیٹرز کے ساتھ دیوہیکل زبان کے ماڈلز کی تربیت جسمانی طور پر ممکن ہوتی ہے۔
ماڈل اور پائپ لائن کی ہم آہنگی کونسا بنیادی مسئلہ حل کرتی ہے؟
ماڈل اور پائپ لائن کی متوازی تقسیم ماڈل کو خود ہی آلات پر تقسیم کرتی ہے، جس سے کسی ایک GPU سے کہیں زیادہ بڑے نیٹ ورکس کی تربیت کو قابل بنایا جا سکتا ہے۔
ٹینسر (انٹرا لیئر) متوازی تقسیم کیسے کام کرتی ہے؟
ٹینسر متوازی حساب کو ایک پرت میں تقسیم کرتا ہے، مثال کے طور پر ایک بڑے وزن والے میٹرکس کو تقسیم کرنا تاکہ ہر GPU آؤٹ پٹ کے حصے کی گنتی کرے۔
بولی پائپ لائن کے متوازی میں 'بلبلا' کیا ہے؟
پائپ لائن کے ابتدائی مرحلے میں، نیچے دھارے کے مراحل میں ابھی تک کوئی ان پٹ نہیں ہے اور وہ بیکار بیٹھے ہیں، GPU کا وقت ضائع کرتے ہیں۔ اس بیکار خلا کو بلبلا کہا جاتا ہے۔
پائپ لائن متوازی بلبلے کو کیسے کم کرتی ہے؟
ایک بیچ کو مائیکرو بیچز میں تقسیم کرنے سے متعدد مائیکرو بیچز بیک وقت مختلف مراحل پر قبضہ کر سکتے ہیں، تمام GPUs کو مصروف رکھتے ہیں اور وقت کو سکڑتے ہیں۔
ٹینسر متوازی کو عام طور پر ایک نوڈ کے اندر کیوں رکھا جاتا ہے؟
جزوی میٹرکس کے نتائج کو دوبارہ جوڑنے کے لیے ٹینسر متوازی کثرت سے بات چیت کرتا ہے، اس لیے اسے NVLink کے اوپر ایک نوڈ کے اندر جہاں انٹرکنیکٹ بینڈوتھ سب سے زیادہ ہے وہاں رکھا جاتا ہے۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔