Gids-gekoppelde quiz · Moeilijk Niveau

Collectieve communicatie en NCCL-quiz

Test all-reduc, all-gather, broadcast en reduce-scatter rollen, NCCL-identiteit, netwerkoffloads en een voorbeeld van kleine somreductie.

Gerelateerde gidspadenCollectieve communicatie en Nccl
Vraag 1 van 8

Wat levert een all-reduceeroperatie op bij gedistribueerde training?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat levert een all-reduceeroperatie op bij gedistribueerde training?
    • Het combineert waarden van alle GPU's en geeft elke GPU het gecombineerde resultaat
    • Het verwijdert overtollige gegevens van één GPU
    • Het verlaagt de GPU-kloksnelheid om energie te besparen
    • Het verzendt gegevens van alle GPU's naar één opslagschijf
  2. Waar staat de afkorting NCCL voor?
    • Neurale rekenclusterlaag
    • Logica voor netwerkcachecontrole
    • NVIDIA collectieve communicatiebibliotheek
    • Numerieke Convolutie Compute-bibliotheek
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Welke collectieve bewerking verzamelt de gegevens van elke GPU in een volledige kopie die in het bezit is van alle GPU's?
    • Uitzending
    • Reduceer verstrooiing
    • Barrière
    • Allemaal verzamelen
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Welke verbinding gebruikt NCCL doorgaans voor communicatie TUSSEN servers (knooppunten)?
    • InfiniBand of RoCE
    • Een USB-kabel
    • Alleen het PCIe-slot
    • Wifi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Allemaal verzamelen
    • Reduceer verstrooiing
    • Uitzending
    • A standalone model checkpoint