Quiz collegato alla guida · Difficile Livello
Quiz parallelo sui dati completamente condivisi
Copre lo sharding FSDP, la raccolta completa e la riduzione della dispersione, la sovrapposizione delle comunicazioni e i compromessi tra memoria e rete nell'addestramento di modelli distribuiti di grandi dimensioni.
Domanda 1 di 8
Che cosa fa il frazionamento FSDP tra GPU rispetto al parallelismo dei dati standard?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Che cosa fa il frazionamento FSDP tra GPU rispetto al parallelismo dei dati standard?
- Parametri, gradienti e stati dell'ottimizzatore
- Solo i lotti di input
- Solo il programma del tasso di apprendimento
- I file del set di dati di training su disco
- Quale operazione collettiva utilizza FSDP per ricostruire i pesi completi di un livello subito prima di calcolarlo?
- Solo trasmissione
- Tutti riuniti
- Dispersione
- Barriera
- Perché FSDP libera i pesi completi raccolti immediatamente dopo il calcolo di un livello?
- Per corrompere i gradienti inutilizzati
- Per forzare un ciclo di allenamento più lento
- Per mantenere l'impronta della memoria permanente su un solo frammento per dispositivo
- Perché PyTorch li elimina in modo casuale
- FSDP è stato in gran parte ispirato da quale precedente approccio di ottimizzazione della memoria?
- MapReduce di Google
- RDD Apache Spark
- I core CUDA di NVIDIA
- ZeRO (ottimizzatore di ridondanza zero) di Microsoft
- In che modo FSDP nasconde gran parte della latenza della rete dalla raccolta di pesi?
- Sovrapponendo la comunicazione al calcolo, precaricando i parametri del livello successivo
- Disabilitando il passaggio all'indietro
- Comprimendo i pesi a un po'
- Allenandosi solo sulla CPU
- Quale operazione collettiva distribuisce le sezioni di gradiente combinate alle rispettive GPU nel passaggio all'indietro?
- Duplicazione totale
- Riduzione-dispersione
- Copia a GPU singola
- Solo raccolta
- Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
- It removes all model parameters during training
- It converts optimizer states into network requests
- Each rank stores a shard of model state instead of a full copy
- It places every activation permanently on the CPU
- What is a central systems tradeoff in FSDP?
- Lower memory and no communication at any point
- More replicated parameters in exchange for fewer data samples
- Replacing training with inference
- Lower per-device memory use in exchange for collective communication