সম্পূর্ণভাবে শার্ডেড ডেটা প্যারালাল কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. এফএসডিপি জিপিইউ জুড়ে কী ধারণ করে যা স্ট্যান্ডার্ড ডেটা সমান্তরালতা করে না?
   • পরামিতি, গ্রেডিয়েন্ট এবং অপ্টিমাইজার অবস্থা
   • শুধুমাত্র ইনপুট ব্যাচ
   • শুধুমাত্র শেখার হার সময়সূচী
   • ডিস্কে প্রশিক্ষণ ডেটাসেট ফাইল
2. কম্পিউট করার আগে একটি স্তরের সম্পূর্ণ ওজন পুনর্গঠনের জন্য FSDP কোন যৌথ অপারেশন ব্যবহার করে?
   • শুধুমাত্র সম্প্রচার
   • সব-সমাবেশ
   • বিক্ষিপ্ত
   • বাধা
3. কেন FSDP একটি স্তরের গণনার পরপরই সংগৃহীত পূর্ণ ওজন মুক্ত করে?
   • অব্যবহৃত গ্রেডিয়েন্টগুলিকে দূষিত করতে
   • একটি ধীর প্রশিক্ষণ লুপ জোর করতে
   • প্রতি ডিভাইসে শুধুমাত্র একটি শার্ডে স্থায়ী মেমরির পদচিহ্ন রাখতে
   • কারণ PyTorch এগুলি এলোমেলোভাবে মুছে দেয়
4. FSDP মূলত কোন পূর্ববর্তী মেমরি-অপ্টিমাইজেশন পদ্ধতির দ্বারা অনুপ্রাণিত হয়েছিল?
   • Google এর MapReduce
   • Apache Spark RDDs
   • NVIDIA এর CUDA কোর
   • Microsoft এর জিরো (জিরো রিডানডেন্সি অপ্টিমাইজার)
5. কিভাবে FSDP ওজন সংগ্রহ করা থেকে নেটওয়ার্ক লেটেন্সি অনেক লুকিয়ে রাখে?
   • গণনার সাথে যোগাযোগকে ওভারল্যাপ করে, পরবর্তী স্তরের পরামিতিগুলি প্রিফেচ করে
   • অনগ্রসর পাস নিষ্ক্রিয় করে
   • ওজন এক বিট সংকুচিত করে
   • শুধুমাত্র CPU-তে প্রশিক্ষণের মাধ্যমে
6. কোন সমষ্টিগত অপারেশন ব্যাকওয়ার্ড পাসে তাদের নিজস্ব জিপিইউতে সম্মিলিত গ্রেডিয়েন্ট স্লাইস বিতরণ করে?
   • অল-টু-অল ডুপ্লিকেশন
   • রিডুস-স্ক্যাটার
   • একক-জিপিইউ কপি
   • শুধুমাত্র সংগ্রহ করুন
7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
   • It removes all model parameters during training
   • It converts optimizer states into network requests
   • Each rank stores a shard of model state instead of a full copy
   • It places every activation permanently on the CPU
8. What is a central systems tradeoff in FSDP?
   • Lower memory and no communication at any point
   • More replicated parameters in exchange for fewer data samples
   • Replacing training with inference
   • Lower per-device memory use in exchange for collective communication