التواصل الجماعي واختبار NCCL

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما الذي تنجزه عملية التخفيض الشامل في التدريب الموزع؟
   • فهو يجمع بين القيم عبر جميع وحدات معالجة الرسومات ويعطي كل وحدة معالجة رسومات النتيجة المجمعة
   • يقوم بحذف البيانات الزائدة من وحدة معالجة الرسومات (GPU) واحدة
   • فهو يقلل من سرعة ساعة GPU لتوفير الطاقة
   • يرسل البيانات من جميع وحدات معالجة الرسومات إلى قرص تخزين واحد
2. ماذا يعني اختصار NCCL؟
   • طبقة الكتلة الحسابية العصبية
   • منطق التحكم في ذاكرة التخزين المؤقت للشبكة
   • مكتبة الاتصالات الجماعية لـ NVIDIA
   • مكتبة حساب الإلتواء الرقمي
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. ما هي العملية الجماعية التي تجمع كل جزء من بيانات وحدة معالجة الرسومات في نسخة كاملة تحتفظ بها جميع وحدات معالجة الرسومات؟
   • بث
   • تقليل التشتت
   • الحاجز
   • كل جمع
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. ما هو الاتصال البيني الذي تستخدمه NCCL عادةً للاتصال بين الخوادم (العقد)؟
   • InfiniBand أو RoCE
   • كابل يو اس بي
   • فتحة PCIe فقط
   • واي فاي
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • كل جمع
   • تقليل التشتت
   • بث
   • A standalone model checkpoint