Quiz collegato alla guida · Difficile Livello
Comunicazione collettiva e quiz NCCL
Testare i ruoli di riduzione totale, raccolta completa, trasmissione e riduzione-dispersione, identità NCCL, offload di rete e un piccolo esempio di riduzione della somma.
Domanda 1 di 8
Cosa comporta un'operazione di riduzione totale nella formazione distribuita?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa comporta un'operazione di riduzione totale nella formazione distribuita?
- Combina i valori di tutte le GPU e fornisce a ogni GPU il risultato combinato
- Elimina i dati ridondanti da una GPU
- Riduce la velocità di clock della GPU per risparmiare energia
- Invia i dati da tutte le GPU a un singolo disco di archiviazione
- Cosa significa l'acronimo NCCL?
- Livello cluster di calcolo neurale
- Logica di controllo della cache di rete
- Libreria di comunicazione collettiva NVIDIA
- Libreria di calcolo della convoluzione numerica
- Why can chunked ring communication be useful for a large tensor?
- It guarantees constant latency for any number of devices
- Chunks can be streamed across participating links instead of waiting for one monolithic transfer
- It makes topology irrelevant
- It prevents all network contention
- Quale operazione collettiva raccoglie i dati di ciascuna GPU in una copia completa conservata da tutte le GPU?
- Trasmettere
- Riduzione-dispersione
- Barriera
- Tutti riuniti
- What does a supported network reduction offload such as SHARP do?
- Guarantee exactly half the traffic for every collective
- Remove the need for participating ranks
- Perform some reduction work in compatible network hardware
- Turn all-gather into a local memory copy
- Quale interconnessione utilizza in genere NCCL per la comunicazione TRA server (nodi)?
- InfiniBand o RoCE
- Un cavo USB
- Solo lo slot PCIe
- Wifi
- Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
- Only its own original value
- 3 for the middle rank and nothing elsewhere
- The average 3.33 unless requested separately
- 10
- Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
- Tutti riuniti
- Riduzione-dispersione
- Trasmettere
- A standalone model checkpoint