Quiz collegato alla guida · Difficile Livello

Quiz parallelo sui dati completamente condivisi

Copre lo sharding FSDP, la raccolta completa e la riduzione della dispersione, la sovrapposizione delle comunicazioni e i compromessi tra memoria e rete nell'addestramento di modelli distribuiti di grandi dimensioni.

Domanda 1 di 8

Che cosa fa il frazionamento FSDP tra GPU rispetto al parallelismo dei dati standard?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Che cosa fa il frazionamento FSDP tra GPU rispetto al parallelismo dei dati standard?
    • Parametri, gradienti e stati dell'ottimizzatore
    • Solo i lotti di input
    • Solo il programma del tasso di apprendimento
    • I file del set di dati di training su disco
  2. Quale operazione collettiva utilizza FSDP per ricostruire i pesi completi di un livello subito prima di calcolarlo?
    • Solo trasmissione
    • Tutti riuniti
    • Dispersione
    • Barriera
  3. Perché FSDP libera i pesi completi raccolti immediatamente dopo il calcolo di un livello?
    • Per corrompere i gradienti inutilizzati
    • Per forzare un ciclo di allenamento più lento
    • Per mantenere l'impronta della memoria permanente su un solo frammento per dispositivo
    • Perché PyTorch li elimina in modo casuale
  4. FSDP è stato in gran parte ispirato da quale precedente approccio di ottimizzazione della memoria?
    • MapReduce di Google
    • RDD Apache Spark
    • I core CUDA di NVIDIA
    • ZeRO (ottimizzatore di ridondanza zero) di Microsoft
  5. In che modo FSDP nasconde gran parte della latenza della rete dalla raccolta di pesi?
    • Sovrapponendo la comunicazione al calcolo, precaricando i parametri del livello successivo
    • Disabilitando il passaggio all'indietro
    • Comprimendo i pesi a un po'
    • Allenandosi solo sulla CPU
  6. Quale operazione collettiva distribuisce le sezioni di gradiente combinate alle rispettive GPU nel passaggio all'indietro?
    • Duplicazione totale
    • Riduzione-dispersione
    • Copia a GPU singola
    • Solo raccolta
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication