ডেটা সমান্তরাল কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. স্ট্যান্ডার্ড ডেটা সমান্তরালে, প্রতিটি জিপিইউ কী ধরে রাখে?
   • মডেলের একটি সম্পূর্ণ অনুলিপি, ব্যাচের একটি ভিন্ন স্লাইস প্রক্রিয়াকরণ
   • মডেলের স্তরগুলির একটি ভিন্ন স্লাইস
   • শুধুমাত্র অপ্টিমাইজার অবস্থা, ওজন কেন্দ্রীয়ভাবে সংরক্ষিত
   • কম প্যারামিটার সহ মডেলের একটি সংকুচিত সংস্করণ
2. কোন যোগাযোগ অপারেশন প্রতিটি ধাপে মডেলের প্রতিলিপিগুলিকে সিঙ্কে রাখে?
   • ব্রডকাস্ট, যা একটি জিপিইউ-এর ডেটা অন্য সকলের সাথে কপি করে
   • অল-রিডুস, যা সমস্ত GPU জুড়ে গড় গ্রেডিয়েন্ট
   • স্ক্যাটার, যা GPU গুলির মধ্যে ডেটা ভাগ করে
   • GPU-এর মধ্যে কোনো যোগাযোগের প্রয়োজন নেই
3. What memory limit remains in plain data parallelism?
   • The full model is sharded automatically across the GPUs
   • Only the input batch uses device memory
   • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
   • Each worker stores different model layers by default
4. Which factors does NCCL use when selecting collective algorithms?
   • Only the random seed and learning rate
   • Only the total number of model parameters
   • The optimizer type and validation score
   • Message size and topology
5. কিভাবে PyTorch DistributedDataParallel যোগাযোগের লেটেন্সি লুকায়?
   • চলমান ব্যাকওয়ার্ড পাসের সাথে গ্রেডিয়েন্ট অল-রিডুস ওভারল্যাপ করে
   • বিকল্প ধাপে গ্রেডিয়েন্ট সিঙ্ক্রোনাইজেশন এড়িয়ে যাওয়ার মাধ্যমে
   • সমস্ত গ্রেডিয়েন্টকে একক সংখ্যায় সংকুচিত করে
   • সিপিইউতে ফরওয়ার্ড পাস চালানোর মাধ্যমে
6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
   • B divided by W
   • B multiplied by W, before any gradient-accumulation factor
   • Always exactly W samples
   • The model parameter count divided by B
7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
   • All-reduce makes model parameters disappear
   • The model is copied only to one worker
   • Gradient communication, data loading, and synchronization add overhead
   • More workers always reduce the global batch to zero
8. What does gradient accumulation let a data-parallel training loop do?
   • Shard parameters automatically across all workers
   • Skip forward and backward computation
   • Replace the model with an all-reduce operation
   • Combine gradients from multiple microbatches before an optimizer update