Toplu İletişim ve NCCL Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Dağıtılmış eğitimde tamamen azaltma işlemi ne başarır?
   • Tüm GPU'lardaki değerleri birleştirir ve her GPU'ya birleşik sonucu verir
   • Bir GPU'daki gereksiz verileri siler
   • Güç tasarrufu sağlamak için GPU saat hızını azaltır
   • Tüm GPU'lardan verileri tek bir depolama diskine gönderir
2. NCCL kısaltması ne anlama geliyor?
   • Sinirsel Bilgi İşlem Kümesi Katmanı
   • Ağ Önbellek Kontrol Mantığı
   • NVIDIA Toplu İletişim Kütüphanesi
   • Sayısal Evrişim Hesaplama Kitaplığı
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. Hangi kolektif işlem, her bir GPU'nun veri parçasını, tüm GPU'lar tarafından tutulan tam bir kopya halinde toplar?
   • Yayın
   • Azalt-dağılım
   • Bariyer
   • Hepsi bir arada
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. NCCL, sunucular (düğümler) ARASINDA iletişim için genellikle hangi ara bağlantıyı kullanır?
   • InfiniBand veya RoCE
   • Bir USB kablosu
   • Yalnızca PCIe yuvası
   • Wifi
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • Hepsi bir arada
   • Azalt-dağılım
   • Yayın
   • A standalone model checkpoint