ٹیکنیکل گائیڈ
ڈیپ اسپیڈ اور میگاٹرون ٹریننگ اسٹیکس
DeepSpeed (Microsoft) اور Megatron-LM (NVIDIA) وہ سافٹ ویئر اسٹیک ہیں جو ہزاروں GPUs میں اربوں پیرامیٹرز کے ساتھ ٹریننگ ماڈلز کو حقیقت میں قابل عمل بناتے ہیں۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
ان کے بغیر، آج کے فرنٹیئر ماڈل صرف یادداشت میں فٹ نہیں ہوسکتے ہیں یا مناسب وقت میں تربیت مکمل نہیں کرسکتے ہیں۔
گہرا غوطہ
ایک GPU پر ایک بڑے ماڈل کو تربیت دینا ناممکن ہے کیونکہ وزن، میلان، اور اصلاح کی حالتیں فٹ نہیں ہوتی ہیں۔ یہ اسٹیک کام کو بہت سے GPUs میں تقسیم کرتے ہیں۔ Megatron-LM نے ٹینسر ہم آہنگی کا آغاز کیا، GPUs میں ہر پرت کے اندر انفرادی میٹرکس ضربوں کو کاٹتے ہوئے، نیز پائپ لائن متوازی، جو مختلف GPUs پر مختلف تہوں کو رکھتا ہے۔ ڈیپ اسپیڈ کی دستخطی شراکت زیرو (زیرو ریڈنڈینسی آپٹیمائزر) ہے، جو آپٹیمائزر اسٹیٹس، گریڈیئنٹس اور جی پی یوز کے پیرامیٹرز کو نقل کرنے کے بجائے ان کی نقل تیار کرتی ہے، فی GPU میموری کو ڈرامائی طور پر کاٹتی ہے۔ BLOOM-176B اور Megatron-Turing NLG جیسے ماڈلز کو تربیت دینے کے لیے دونوں کو اکثر (Megatron-DeepSpeed) ملایا جاتا ہے۔ وہ مخلوط درستگی، ایکٹیویشن چیک پوائنٹنگ، اور CPU یا NVMe میں آف لوڈنگ کو بھی شامل کرتے ہیں تاکہ بڑے ماڈلز محدود ہارڈ ویئر پر ٹریننگ کریں۔
حقیقی دنیا کا نفاذ
سینکڑوں GPUs میں مشترکہ Megatron-DeepSpeed اسٹیک کا استعمال کرتے ہوئے کھلے کثیر لسانی BLOOM-176B ماڈل کی تربیت۔
Microsoft اور NVIDIA 3D متوازی کے ساتھ 530-بلین پیرامیٹر Megatron-Turing NLG ماڈل کو تربیت دے رہے ہیں۔
زیرو-آف لوڈ محققین کو ایک ہی ورک سٹیشن GPU پر ملٹی بلین پیرامیٹر ماڈلز کو CPU RAM میں آپٹیمائزر سٹیٹس کو پھیلا کر ٹھیک کرنے دیتا ہے۔
ان اسٹیکوں میں ایکٹیویشن چیک پوائنٹنگ کا استعمال کرتے ہوئے ان سب کو اسٹور کرنے کے بجائے ایکٹیویشنز کو دوبارہ کمپیوٹنگ کرکے طویل سیاق و سباق والی ونڈوز کو فٹ کرنے کے لیے۔
ڈیپ اسپیڈ اور میگاٹرون ٹریننگ اسٹیکس کا مستقبل
PyTorch کے مقامی FSDP (Fully Sharded Data Parallel) کے ساتھ سخت انضمام کی توقع کریں، جس نے بہت سے ZeRO آئیڈیاز کو جذب کر لیا، تحقیق کے اسٹیک اور بنیادی فریم ورک کے درمیان لائن کو دھندلا کر دیا۔ کمپائلر پر مبنی نقطہ نظر اور خودکار متوازی منصوبہ سازوں کا مقصد دستی ٹیوننگ کو ہٹانا ہے۔ جیسے جیسے ٹریننگ کلسٹرز لاکھوں ایکسلریٹروں کی طرف بڑھتے ہیں، فالٹ ٹولرنس، لچکدار پیمانہ، اور کمپیوٹیشن کے ساتھ اوور لیپنگ کمیونیکیشن NVIDIA بلیک ویل اور کسٹم ٹریننگ چپس جیسے نئے ہارڈ ویئر کے لیے سپورٹ کے ساتھ ساتھ انجینئرنگ کے اہم محاذ بن جاتے ہیں۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
ڈیپ اسپیڈ اور میگاٹرون ٹریننگ اسٹیکس کوئز لیں۔
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
ڈیپ اسپیڈ اور میگاٹرون ٹریننگ اسٹیکس کیا ہے؟
DeepSpeed (Microsoft) اور Megatron-LM (NVIDIA) وہ سافٹ ویئر اسٹیک ہیں جو ہزاروں GPUs میں اربوں پیرامیٹرز کے ساتھ ٹریننگ ماڈلز کو حقیقت میں قابل عمل بناتے ہیں۔ ان کے بغیر، آج کے فرنٹیئر ماڈل صرف یادداشت میں فٹ نہیں ہوسکتے ہیں یا مناسب وقت میں تربیت مکمل نہیں کرسکتے ہیں۔
ڈیپ اسپیڈ کے زیرو آپٹیمائزر کا بنیادی مقصد کیا ہے؟
ZeRO (زیرو ریڈنڈنسی آپٹیمائزر) ہر ڈیوائس پر ان کی نقل تیار کرنے کے بجائے آپٹمائزر اسٹیٹس، گریڈیئنٹس، اور پیرامیٹرس کو پورے GPUs میں تقسیم کرکے میموری کی فالتو پن کو ختم کرتا ہے۔
ٹینسر متوازی، جیسا کہ Megatron-LM میں پیش کیا گیا، ماڈل کو کیسے تقسیم کرتا ہے؟
ٹینسر متوازی ریاضی کو ایک پرت کے اندر تقسیم کرتا ہے (جیسے کہ ایک بڑا میٹرکس ضرب) متعدد GPUs میں، جو کہ انٹرا لیئر اسپلٹنگ ہے۔
کون سا ZeRO اسٹیج ماڈل کے پیرامیٹرز کو بھی شارڈ کرکے سب سے زیادہ میموری کی بچت فراہم کرتا ہے؟
ZeRO اسٹیج 3 شارڈز کے پیرامیٹرز گریڈیئنٹس اور آپٹیمائزر اسٹیٹس کے علاوہ، انہیں طلب کے مطابق جمع کرتے ہوئے، میموری کی سب سے بڑی کمی دیتے ہیں۔
تربیت کے دوران میموری کو بچانے کے لیے 'ایکٹیویشن چیک پوائنٹنگ' کس چیز کی تجارت کرتی ہے؟
ایکٹیویشن چیک پوائنٹنگ کم انٹرمیڈیٹ ایکٹیویشنز کو اسٹور کرتا ہے اور بیک پروپیگیشن کے دوران ان کی دوبارہ گنتی کرتا ہے، کم میموری کے لیے اضافی کمپیوٹیشن کی تجارت کرتا ہے۔
ان تکنیکوں کو یکجا کرنے کو اکثر '3D متوازی' کیوں کہا جاتا ہے؟
3D متوازی تین آرتھوگونل حکمت عملیوں کو اسٹیک کرتی ہے: ڈیٹا متوازی، ٹینسر (انٹرا لیئر) متوازی، اور پائپ لائن (انٹر لیئر) متوازی۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔