Quiz collegato alla guida · Difficile Livello

Quiz sul parallelismo di modelli e pipeline

Spiega il partizionamento di tensori e pipeline, i trasferimenti di attivazione, le pianificazioni dei microbatch, le bolle delle pipeline e i compromessi di comunicazione.

Domanda 1 di 8

Quale problema fondamentale risolvono il parallelismo del modello e della pipeline?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale problema fondamentale risolvono il parallelismo del modello e della pipeline?
    • Un modello troppo grande per adattarsi alla memoria di una singola GPU
    • Caricamento lento dei dati dal disco
    • Gradienti che esplodono durante l'allenamento
    • Troppi pochi esempi di formazione disponibili
  2. Come funziona la divisione del parallelismo del tensore (intra-strato)?
    • Assegna interi livelli a diverse GPU
    • Suddivide i calcoli all'interno di uno strato, come una matrice moltiplicata, tra le GPU
    • Duplica ogni livello su ogni GPU
    • Esegue ogni livello due volte per ridondanza
  3. Cos'è la "bolla" nel parallelismo ingenuo delle pipeline?
    • Una perdita di memoria che cresce nel tempo
    • Una copia duplicata dello stato dell'ottimizzatore
    • Tempo di inattività in cui le GPU downstream attendono che le fasi upstream producano attivazioni
    • Un picco nei valori del gradiente
  4. In che modo il parallelismo delle pipeline riduce la bolla?
    • Utilizzando un tasso di apprendimento inferiore
    • Rimuovendo alcuni strati dal modello
    • Memorizzando le attivazioni sulla CPU
    • Suddividendo ogni lotto in microlotti che scorrono attraverso le fasi in modo scaglionato
  5. Perché il parallelismo tensoriale viene tipicamente mantenuto all'interno di un singolo nodo?
    • Poiché la sua frequente riduzione totale dei risultati parziali beneficia di collegamenti intra-nodo veloci come NVLink
    • Perché non richiede alcuna comunicazione
    • Perché i nodi non possono assolutamente condividere i dati
    • Perché supporta solo una GPU
  6. Quale framework è meglio conosciuto per il parallelismo dei tensori nell'addestramento dei trasformatori?
    • scikit-impara
    • NVIDIA Megatron-LM
    • OpenCV
    • Panda
  7. Quali dati devono essere trasferiti tra le fasi nella parallelizzazione del pipeline durante un passaggio in avanti?
    • L'intero set di dati di addestramento dopo ogni livello
    • Solo il tasso di apprendimento dell'ottimizzatore
    • I tensori di attivazione prodotti da una fase e consumati dalla successiva
    • Nessun dato, perché le fasi sono modelli indipendenti
  8. Perché la parallelizzazione dei tensori richiede spesso una comunicazione veloce all'interno del suo gruppo?
    • Assegna a ogni GPU un dataset separato e non sincronizza mai
    • Comunica solo una volta quando il modello è caricato
    • Non utilizza operazioni cross-device
    • I dispositivi scambiano risultati parziali o attivazioni all'interno dei strati durante il calcolo