Quiz collegato alla guida · Difficile Livello

Comunicazione collettiva e quiz NCCL

Testare i ruoli di riduzione totale, raccolta completa, trasmissione e riduzione-dispersione, identità NCCL, offload di rete e un piccolo esempio di riduzione della somma.

Percorsi guida correlatiComunicazione collettiva e Nccl
Domanda 1 di 8

Cosa comporta un'operazione di riduzione totale nella formazione distribuita?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa comporta un'operazione di riduzione totale nella formazione distribuita?
    • Combina i valori di tutte le GPU e fornisce a ogni GPU il risultato combinato
    • Elimina i dati ridondanti da una GPU
    • Riduce la velocità di clock della GPU per risparmiare energia
    • Invia i dati da tutte le GPU a un singolo disco di archiviazione
  2. Cosa significa l'acronimo NCCL?
    • Livello cluster di calcolo neurale
    • Logica di controllo della cache di rete
    • Libreria di comunicazione collettiva NVIDIA
    • Libreria di calcolo della convoluzione numerica
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Quale operazione collettiva raccoglie i dati di ciascuna GPU in una copia completa conservata da tutte le GPU?
    • Trasmettere
    • Riduzione-dispersione
    • Barriera
    • Tutti riuniti
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Quale interconnessione utilizza in genere NCCL per la comunicazione TRA server (nodi)?
    • InfiniBand o RoCE
    • Un cavo USB
    • Solo lo slot PCIe
    • Wifi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Tutti riuniti
    • Riduzione-dispersione
    • Trasmettere
    • A standalone model checkpoint