Komunikasi Kolektif dan Kuiz NCCL

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah yang dicapai oleh operasi pengurangan semua dalam latihan yang diedarkan?
   • Ia menggabungkan nilai merentas semua GPU dan memberikan setiap GPU hasil gabungan
   • Ia memadam data berlebihan daripada satu GPU
   • Ia mengurangkan kelajuan jam GPU untuk menjimatkan kuasa
   • Ia menghantar data daripada semua GPU ke cakera storan tunggal
2. Apakah singkatan NCCL?
   • Lapisan Kluster Pengiraan Neural
   • Logik Kawalan Cache Rangkaian
   • Perpustakaan Komunikasi Kolektif NVIDIA
   • Pustaka Pengiraan Konvolusi Berangka
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. Operasi kolektif manakah yang mengumpulkan setiap data GPU menjadi salinan penuh yang dipegang oleh semua GPU?
   • Siarkan
   • Kurangkan-taburan
   • Penghalang
   • Semua berkumpul
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. Saling sambungan manakah yang biasanya digunakan NCCL untuk komunikasi ANTARA pelayan (nod)?
   • InfiniBand atau RoCE
   • Kabel USB
   • Slot PCIe sahaja
   • Wi-Fi
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • Semua berkumpul
   • Kurangkan-taburan
   • Siarkan
   • A standalone model checkpoint