যৌথ যোগাযোগ এবং NCCL কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. বিতরণকৃত প্রশিক্ষণে একটি অল-রিডুস অপারেশন কী অর্জন করে?
   • এটি সমস্ত GPU জুড়ে মানগুলিকে একত্রিত করে এবং প্রতিটি GPU-কে সম্মিলিত ফলাফল দেয়৷
   • এটি একটি GPU থেকে অপ্রয়োজনীয় ডেটা মুছে দেয়
   • এটি শক্তি বাঁচাতে GPU ঘড়ির গতি কমিয়ে দেয়
   • এটি সমস্ত জিপিইউ থেকে একটি একক স্টোরেজ ডিস্কে ডেটা পাঠায়
2. NCCL এর সংক্ষিপ্ত রূপ কী?
   • নিউরাল কম্পিউট ক্লাস্টার লেয়ার
   • নেটওয়ার্ক ক্যাশে কন্ট্রোল লজিক
   • NVIDIA কালেক্টিভ কমিউনিকেশন লাইব্রেরি
   • নিউমেরিক কনভোলিউশন কম্পিউট লাইব্রেরি
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. কোন সমষ্টিগত ক্রিয়াকলাপ প্রতিটি GPU-এর ডেটার অংশকে সমস্ত GPU-এর দ্বারা ধারণ করা একটি সম্পূর্ণ অনুলিপিতে সংগ্রহ করে?
   • সম্প্রচার
   • রিডুস-স্ক্যাটার
   • বাধা
   • সব-সমাবেশ
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. NCCL সাধারণত সার্ভারের (নোড) মধ্যে যোগাযোগের জন্য কোন আন্তঃসংযোগ ব্যবহার করে?
   • InfiniBand বা RoCE
   • একটি USB তারের
   • শুধুমাত্র PCIe স্লট
   • ওয়াই-ফাই
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • সব-সমাবেশ
   • রিডুস-স্ক্যাটার
   • সম্প্রচার
   • A standalone model checkpoint