ڈیپ اسپیڈ اور میگاٹرون ٹریننگ اسٹیکس کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ڈیپ اسپیڈ کے زیرو آپٹیمائزر کا بنیادی مقصد کیا ہے؟
   • میموری کو بچانے کے لیے جی پی یوز میں آپٹیمائزر اسٹیٹس، گریڈیئنٹس اور پیرامیٹرز کو شارڈ کرنا
   • تعیناتی کے لیے حتمی ماڈل کو کمپریس کرنے کے لیے
   • فریم ورک کے درمیان ماڈلز کا ترجمہ کرنا
   • تربیتی ڈیٹا کو خود بخود لیبل کرنے کے لیے
2. ٹینسر متوازی، جیسا کہ Megatron-LM میں پیش کیا گیا، ماڈل کو کیسے تقسیم کرتا ہے؟
   • مختلف GPUs پر مختلف پرتیں لگا کر
   • GPUs میں ایک پرت کے اندر انفرادی میٹرکس ضربوں کو کاٹ کر
   • ہر GPU کو ڈیٹا کا ایک مختلف بیچ دے کر
   • مختلف GPUs پر مختلف وقت کے مراحل کو ذخیرہ کرکے
3. پائپ لائن کی متوازی ٹینسر کے متوازی سے مختلف ہے کیونکہ یہ ماڈل کو اس طرح تقسیم کرتی ہے:
   • ہر پرت کے اندر میٹرکس کاٹنا
   • ہر GPU پر پورے ماڈل کی نقل تیار کرنا
   • مختلف GPUs کو مختلف پرتیں (مرحلہ) تفویض کرنا
   • کم درستگی کے لیے وزن کو کوانٹائز کرنا
4. کون سا ZeRO اسٹیج ماڈل کے پیرامیٹرز کو بھی شارڈ کرکے سب سے زیادہ میموری کی بچت فراہم کرتا ہے؟
   • مرحلہ 1
   • مرحلہ 2
   • مرحلہ 0
   • مرحلہ 3
5. تربیت کے دوران میموری کو بچانے کے لیے 'ایکٹیویشن چیک پوائنٹنگ' کس چیز کی تجارت کرتی ہے؟
   • پسماندہ پاس کے دوران ایکٹیویشنز کی دوبارہ گنتی کرکے، اضافی کمپیوٹ
   • ماڈل کی درستگی
   • نیٹ ورک بینڈوتھ
   • تہوں کی تعداد
6. ان تکنیکوں کو یکجا کرنے کو اکثر '3D متوازی' کیوں کہا جاتا ہے؟
   • یہ صرف 3D گرافکس کارڈز پر کام کرتا ہے۔
   • یہ ڈیٹا، ٹینسر، اور پائپ لائن کے متوازی کو تین محوروں کے ساتھ جوڑتا ہے۔
   • یہ زیادہ سے زیادہ تین GPUs استعمال کرتا ہے۔
   • یہ ماڈلز کو تین جہتوں میں پیش کرتا ہے۔
7. Which ZeRO stage first shards optimizer state across data-parallel workers?
   • مرحلہ 0
   • مرحلہ 2
   • مرحلہ 1
   • مرحلہ 3
8. What does CPU or NVMe offloading do in large-model training stacks?
   • Copies the full model to every GPU
   • Removes all inter-GPU communication
   • Changes tensor parallelism into reinforcement learning
   • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget