اجتماعی مواصلات اور NCCL کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. تقسیم شدہ تربیت میں تمام کم آپریشن کیا حاصل کرتا ہے؟
   • یہ تمام GPUs میں اقدار کو یکجا کرتا ہے اور ہر GPU کو مشترکہ نتیجہ دیتا ہے۔
   • یہ ایک GPU سے بے کار ڈیٹا کو حذف کرتا ہے۔
   • یہ پاور بچانے کے لیے GPU گھڑی کی رفتار کو کم کرتا ہے۔
   • یہ تمام GPUs سے ڈیٹا ایک ہی اسٹوریج ڈسک پر بھیجتا ہے۔
2. مخفف NCCL کا کیا مطلب ہے؟
   • نیورل کمپیوٹ کلسٹر لیئر
   • نیٹ ورک کیشے کنٹرول منطق
   • NVIDIA اجتماعی مواصلات لائبریری
   • عددی کنولوشن کمپیوٹ لائبریری
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. کون سا اجتماعی آپریشن ہر GPU کے ڈیٹا کے ٹکڑے کو تمام GPUs کے پاس موجود ایک مکمل کاپی میں جمع کرتا ہے؟
   • براڈ کاسٹ
   • کم بکھرنا
   • رکاوٹ
   • سب جمع
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. این سی سی ایل عام طور پر سرورز (نوڈس) کے درمیان رابطے کے لیے کون سا انٹر کنیکٹ استعمال کرتا ہے؟
   • InfiniBand یا RoCE
   • ایک USB کیبل
   • صرف PCIe سلاٹ
   • وائی فائی
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • سب جمع
   • کم بکھرنا
   • براڈ کاسٹ
   • A standalone model checkpoint