Κουίζ Συλλογικής Επικοινωνίας και NCCL

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι επιτυγχάνει μια λειτουργία ολικής μείωσης στην κατανεμημένη εκπαίδευση;
   • Συνδυάζει τιμές σε όλες τις GPU και δίνει σε κάθε GPU το συνδυασμένο αποτέλεσμα
   • Διαγράφει περιττά δεδομένα από μία GPU
   • Μειώνει την ταχύτητα του ρολογιού της GPU για εξοικονόμηση ενέργειας
   • Στέλνει δεδομένα από όλες τις GPU σε έναν ενιαίο δίσκο αποθήκευσης
2. Τι σημαίνει το αρκτικόλεξο NCCL;
   • Επίπεδο συμπλέγματος νευρωνικών υπολογιστών
   • Λογική ελέγχου προσωρινής μνήμης δικτύου
   • NVIDIA Συλλογική Βιβλιοθήκη Επικοινωνιών
   • Numeric Convolution Compute Library
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. Ποια συλλογική λειτουργία συγκεντρώνει τα δεδομένα κάθε GPU σε ένα πλήρες αντίγραφο που διατηρούν όλες οι GPU;
   • Εκπομπή
   • Μείωση-σκέδαση
   • Εμπόδιο
   • Μαζευτείτε όλα
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. Ποια διασύνδεση χρησιμοποιεί συνήθως το NCCL για επικοινωνία μεταξύ διακομιστών (κόμβων);
   • InfiniBand ή RoCE
   • Ένα καλώδιο USB
   • Μόνο η υποδοχή PCIe
   • Wi-Fi
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • Μαζευτείτε όλα
   • Μείωση-σκέδαση
   • Εκπομπή
   • A standalone model checkpoint