Quiz collegato alla guida · Difficile Livello
Quiz sul parallelismo tensoriale per modelli di grandi dimensioni
Controlla il modo in cui il parallelismo tensore frammenta le matrici dei livelli, combina gli output parziali, divide le teste dell'attenzione e si inserisce nel parallelismo multiasse.
Domanda 1 di 8
Cosa viene suddiviso il parallelismo tensoriale tra le GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa viene suddiviso il parallelismo tensoriale tra le GPU?
- Le matrici di peso all'interno di un singolo strato
- Interi livelli posizionati su GPU separate
- Diversi set di dati di addestramento
- Il tasso di apprendimento dell'ottimizzatore
- Nella suddivisione MLP in stile Megatron, come vengono suddivise le due matrici di peso per ridurre al minimo la comunicazione?
- Entrambi in termini di colonne
- La prima per colonna, la seconda per riga
- Entrambi per fila
- Non sono affatto partizionati
- Perché il parallelismo tensoriale viene solitamente mantenuto all'interno di un singolo nodo?
- I nodi non possono eseguire GPU
- Le GPU in nodi diversi utilizzano calcoli diversi
- Richiede comunicazioni frequenti a larghezza di banda elevata, meglio servite da NVLink
- È un requisito legale
- Come viene tipicamente parallelizzato il meccanismo dell'attenzione sotto il parallelismo tensoriale?
- Fornendo a ogni GPU il calcolo completo dell'attenzione in modo ridondante
- Tralasciando del tutto l'attenzione
- Convertendo l'attenzione in una convoluzione
- Suddividendo tra le teste dell'attenzione, ciascuna GPU gestisce un sottoinsieme
- Quale operazione collettiva combina comunemente risultati parziali nel parallelismo tensoriale?
- Un tutto ridotto
- Una copia di archivio
- Un'unione al database
- Una ricerca DNS
- Come si inserisce tipicamente il parallelismo tensoriale nel "parallelismo 3D"?
- Sostituisce tutte le altre forme di parallelismo
- È combinato con il parallelismo di pipeline e dati
- Funziona solo senza nessun altro parallelismo
- Viene utilizzato esclusivamente per i modelli di immagine
- After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
- The GPUs each hold a different optimizer
- The result is a vocabulary probability that must be sorted
- Each GPU computed a partial contribution to the same output, so the pieces must be summed
- The model needs to average separate datasets
- Why can interconnect latency limit tensor-parallel scaling across distant nodes?
- Tensor parallelism never communicates between GPUs
- The attention mask must be copied after every token
- Every GPU trains a separate model
- Collectives are required repeatedly within layers, so communication latency accumulates