مکمل طور پر شارڈ ڈیٹا متوازی کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. جی پی یوز میں FSDP کیا شارڈ کرتا ہے جو معیاری ڈیٹا متوازی نہیں کرتا ہے؟
   • پیرامیٹرز، گریڈیئنٹس، اور آپٹیمائزر اسٹیٹس
   • صرف ان پٹ بیچز
   • صرف سیکھنے کی شرح کا شیڈول
   • ڈسک پر ٹریننگ ڈیٹاسیٹ فائلیں
2. FSDP کسی پرت کے مکمل وزن کو کمپیوٹنگ کرنے سے پہلے کس اجتماعی آپریشن کا استعمال کرتا ہے؟
   • صرف براڈکاسٹ
   • سب جمع
   • بکھرنا
   • رکاوٹ
3. FSDP ایک پرت کی گنتی کے فوراً بعد جمع کیے گئے پورے وزن کو کیوں خالی کر دیتا ہے؟
   • غیر استعمال شدہ گریڈینٹ کو خراب کرنے کے لیے
   • ایک سست ٹریننگ لوپ کو مجبور کرنے کے لیے
   • مستقل میموری فوٹ پرنٹ کو صرف ایک شارڈ فی ڈیوائس پر رکھنے کے لیے
   • کیونکہ PyTorch انہیں بے ترتیب طور پر حذف کرتا ہے۔
4. FSDP بڑی حد تک پہلے کی میموری کو بہتر بنانے کے طریقہ کار سے متاثر تھا؟
   • Google's MapReduce
   • اپاچی اسپارک آر ڈی ڈیز
   • NVIDIA کے CUDA cores
   • Microsoft کا زیرو (زیرو ریڈنڈنسی آپٹیمائزر)
5. FSDP نیٹ ورک کی زیادہ تر تاخیر کو وزن جمع کرنے سے کیسے چھپاتا ہے؟
   • کمپیوٹیشن کے ساتھ مواصلت کو اوور لیپ کر کے، اگلی پرت کے پیرامیٹرز کو پیش کر کے
   • پسماندہ پاس کو غیر فعال کرکے
   • وزن کو ایک بٹ تک سکیڑ کر
   • صرف CPU پر تربیت کے ذریعے
6. کون سا اجتماعی آپریشن بیک ورڈ پاس میں مشترکہ گریڈینٹ سلائسز کو ان کے اپنے GPUs میں تقسیم کرتا ہے؟
   • آل ٹو آل ڈپلیکیشن
   • کم بکھرنا
   • سنگل GPU کاپی
   • صرف جمع
7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
   • It removes all model parameters during training
   • It converts optimizer states into network requests
   • Each rank stores a shard of model state instead of a full copy
   • It places every activation permanently on the CPU
8. What is a central systems tradeoff in FSDP?
   • Lower memory and no communication at any point
   • More replicated parameters in exchange for fewer data samples
   • Replacing training with inference
   • Lower per-device memory use in exchange for collective communication