Gids-gekoppelde quiz · Moeilijk Niveau
Collectieve communicatie en NCCL-quiz
Test all-reduc, all-gather, broadcast en reduce-scatter rollen, NCCL-identiteit, netwerkoffloads en een voorbeeld van kleine somreductie.
Vraag 1 van 8
Wat levert een all-reduceeroperatie op bij gedistribueerde training?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat levert een all-reduceeroperatie op bij gedistribueerde training?
- Het combineert waarden van alle GPU's en geeft elke GPU het gecombineerde resultaat
- Het verwijdert overtollige gegevens van één GPU
- Het verlaagt de GPU-kloksnelheid om energie te besparen
- Het verzendt gegevens van alle GPU's naar één opslagschijf
- Waar staat de afkorting NCCL voor?
- Neurale rekenclusterlaag
- Logica voor netwerkcachecontrole
- NVIDIA collectieve communicatiebibliotheek
- Numerieke Convolutie Compute-bibliotheek
- Why can chunked ring communication be useful for a large tensor?
- It guarantees constant latency for any number of devices
- Chunks can be streamed across participating links instead of waiting for one monolithic transfer
- It makes topology irrelevant
- It prevents all network contention
- Welke collectieve bewerking verzamelt de gegevens van elke GPU in een volledige kopie die in het bezit is van alle GPU's?
- Uitzending
- Reduceer verstrooiing
- Barrière
- Allemaal verzamelen
- What does a supported network reduction offload such as SHARP do?
- Guarantee exactly half the traffic for every collective
- Remove the need for participating ranks
- Perform some reduction work in compatible network hardware
- Turn all-gather into a local memory copy
- Welke verbinding gebruikt NCCL doorgaans voor communicatie TUSSEN servers (knooppunten)?
- InfiniBand of RoCE
- Een USB-kabel
- Alleen het PCIe-slot
- Wifi
- Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
- Only its own original value
- 3 for the middle rank and nothing elsewhere
- The average 3.33 unless requested separately
- 10
- Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
- Allemaal verzamelen
- Reduceer verstrooiing
- Uitzending
- A standalone model checkpoint