گائیڈ سے منسلک کوئز · مشکل سطح
ZeRO اور Sharded Optimizers کوئز
زیرو مراحل کا احاطہ کرتا ہے، ایڈم اسٹیٹ میموری، پیرامیٹر جمع کرنا، تدریجی کمی، آف لوڈ کے اختیارات، اور مواصلاتی اخراجات۔
سوال 1 کی 8
سادہ ڈیٹا متوازی کے مقابلے میں ZeRO کس بے کار کو ختم کرتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- سادہ ڈیٹا متوازی کے مقابلے میں ZeRO کس بے کار کو ختم کرتا ہے؟
- ہر GPU پر آپٹیمائزر کی حالت، گریڈیئنٹس اور پیرامیٹرز کی مکمل کاپیاں نقل کریں
- ہر GPU پر ٹریننگ ڈیٹا کی ڈپلیکیٹ کاپیاں
- نوڈس کے درمیان بے کار نیٹ ورک کیبلز
- بار بار آگے ایک ہی بیچ کے اوپر سے گزرتا ہے۔
- ایڈم کے ساتھ آپٹیمائزر اسٹیٹ اکثر میموری کا سب سے بڑا ہاگ کیوں ہوتا ہے؟
- آدم کسی بھی اضافی حالت کو ذخیرہ نہیں کرتا ہے۔
- ایڈم اضافی فی پیرامیٹر اقدار (جیسے رفتار اور تغیر) رکھتا ہے، اکثر ماڈل کے سائز سے کئی گنا زیادہ
- آدم پورے ڈیٹاسیٹ کو نقل کرتا ہے۔
- آدم کو ماضی کے ہر میلان کو ہمیشہ کے لیے ذخیرہ کرنے کی ضرورت ہے۔
- ZeRO اسٹیج 3 کیا کرتا ہے جو اسٹیج 1 اور 2 نہیں کرتا؟
- تربیت کا ڈیٹا
- نقصان کا فنکشن
- ماڈل پیرامیٹرز خود
- سیکھنے کی شرح کا شیڈول
- ZeRO اسٹیج 3 میں، ایک GPU مکمل پیرامیٹرز کیسے حاصل کرتا ہے جو اسے ایک پرت کے فارورڈ پاس کے لیے درکار ہے؟
- اسے کبھی بھی مکمل پیرامیٹرز کی ضرورت نہیں ہوتی ہے۔
- یہ انہیں انٹرنیٹ سے ڈاؤن لوڈ کرتا ہے۔
- یہ ہر بار شروع سے ان کی دوبارہ گنتی کرتا ہے۔
- یہ گمشدہ سلائسوں کو جمع کرنے کے لیے آل جمع کرتا ہے، پھر بعد میں انہیں ضائع کر دیتا ہے۔
- کون سی PyTorch خصوصیت مقامی طور پر ZeRO طرز کی شارڈنگ کو نافذ کرتی ہے؟
- FSDP (مکمل طور پر مشترکہ ڈیٹا متوازی)
- ڈیٹا لوڈر
- ٹارچ اسکرپٹ
- آٹوگریڈ
- میموری کو بچانے کے لیے ZeRO بنیادی تجارت کیا کرتا ہے؟
- یہ رفتار کے لیے ماڈل کی درستگی کی قربانی دیتا ہے۔
- یہ ضرورت کے مطابق شارڈز کو جمع کرنے اور بکھیرنے کے لیے اضافی مواصلات کا اضافہ کرتا ہے۔
- یہ ماڈل سے پرتوں کو ہٹاتا ہے۔
- یہ صرف بہت چھوٹے ماڈلز کے ساتھ کام کرتا ہے۔
- Which state is partitioned in ZeRO Stage 1?
- Only parameters, with optimizer states replicated
- Parameters, gradients, and optimizer states all sharded
- Optimizer states, while parameters and gradients remain replicated
- Only input activations and labels
- What is a practical cost of ZeRO-style sharding?
- It removes the need to calculate gradients
- It makes every optimizer update local with no data exchange
- It requires the model to be retrained from scratch for every step
- Additional communication to gather parameters and distribute gradients