Quiz collegato alla guida · Difficile Livello
Quiz sul parallelismo di modelli e pipeline
Spiega il partizionamento di tensori e pipeline, i trasferimenti di attivazione, le pianificazioni dei microbatch, le bolle delle pipeline e i compromessi di comunicazione.
Domanda 1 di 8
Quale problema fondamentale risolvono il parallelismo del modello e della pipeline?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale problema fondamentale risolvono il parallelismo del modello e della pipeline?
- Un modello troppo grande per adattarsi alla memoria di una singola GPU
- Caricamento lento dei dati dal disco
- Gradienti che esplodono durante l'allenamento
- Troppi pochi esempi di formazione disponibili
- Come funziona la divisione del parallelismo del tensore (intra-strato)?
- Assegna interi livelli a diverse GPU
- Suddivide i calcoli all'interno di uno strato, come una matrice moltiplicata, tra le GPU
- Duplica ogni livello su ogni GPU
- Esegue ogni livello due volte per ridondanza
- Cos'è la "bolla" nel parallelismo ingenuo delle pipeline?
- Una perdita di memoria che cresce nel tempo
- Una copia duplicata dello stato dell'ottimizzatore
- Tempo di inattività in cui le GPU downstream attendono che le fasi upstream producano attivazioni
- Un picco nei valori del gradiente
- In che modo il parallelismo delle pipeline riduce la bolla?
- Utilizzando un tasso di apprendimento inferiore
- Rimuovendo alcuni strati dal modello
- Memorizzando le attivazioni sulla CPU
- Suddividendo ogni lotto in microlotti che scorrono attraverso le fasi in modo scaglionato
- Perché il parallelismo tensoriale viene tipicamente mantenuto all'interno di un singolo nodo?
- Poiché la sua frequente riduzione totale dei risultati parziali beneficia di collegamenti intra-nodo veloci come NVLink
- Perché non richiede alcuna comunicazione
- Perché i nodi non possono assolutamente condividere i dati
- Perché supporta solo una GPU
- Quale framework è meglio conosciuto per il parallelismo dei tensori nell'addestramento dei trasformatori?
- scikit-impara
- NVIDIA Megatron-LM
- OpenCV
- Panda
- Quali dati devono essere trasferiti tra le fasi nella parallelizzazione del pipeline durante un passaggio in avanti?
- L'intero set di dati di addestramento dopo ogni livello
- Solo il tasso di apprendimento dell'ottimizzatore
- I tensori di attivazione prodotti da una fase e consumati dalla successiva
- Nessun dato, perché le fasi sono modelli indipendenti
- Perché la parallelizzazione dei tensori richiede spesso una comunicazione veloce all'interno del suo gruppo?
- Assegna a ogni GPU un dataset separato e non sincronizza mai
- Comunica solo una volta quando il modello è caricato
- Non utilizza operazioni cross-device
- I dispositivi scambiano risultati parziali o attivazioni all'interno dei strati durante il calcolo