Truyền thông tập thể và Câu đố NCCL

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Hoạt động all-reduce đạt được điều gì trong đào tạo phân tán?
   • Nó kết hợp các giá trị trên tất cả các GPU và mang lại cho mỗi GPU kết quả tổng hợp
   • Nó xóa dữ liệu dư thừa khỏi một GPU
   • Nó làm giảm tốc độ xung nhịp GPU để tiết kiệm năng lượng
   • Nó gửi dữ liệu từ tất cả các GPU tới một đĩa lưu trữ duy nhất
2. Từ viết tắt NCCL có nghĩa là gì?
   • Lớp cụm điện toán thần kinh
   • Logic kiểm soát bộ đệm mạng
   • Thư viện truyền thông tập thể NVIDIA
   • Thư viện tính toán tích chập số
3. Tại sao giao tiếp vòng chunked có thể hữu ích cho một tensor lớn?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. Hoạt động tập thể nào tập hợp từng phần dữ liệu của GPU thành một bản sao đầy đủ được tất cả các GPU lưu giữ?
   • Phát sóng
   • Giảm phân tán
   • rào cản
   • Tập hợp tất cả
5. Giảm tải mạng được hỗ trợ như SHARP có tác dụng gì?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. NCCL thường sử dụng kết nối nào để liên lạc GIỮA các máy chủ (nút)?
   • InfiniBand hoặc RoCE
   • Một cáp USB
   • Chỉ có khe cắm PCIe
   • Wi-Fi
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • Tập hợp tất cả
   • Giảm phân tán
   • Phát sóng
   • A standalone model checkpoint