Quiz collegato alla guida · Difficile Livello
Quiz su ZeRO e ottimizzatori frammentati
Copre le fasi ZeRO, la memoria dello stato Adam, la raccolta dei parametri, la riduzione del gradiente, le opzioni di offload e i costi di comunicazione.
Domanda 1 di 8
Quale ridondanza elimina ZeRO rispetto al semplice parallelismo dei dati?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale ridondanza elimina ZeRO rispetto al semplice parallelismo dei dati?
- Duplica copie complete dello stato, dei gradienti e dei parametri dell'ottimizzatore su ogni GPU
- Copie duplicate dei dati di addestramento su ciascuna GPU
- Cavi di rete ridondanti tra i nodi
- Passaggi successivi ripetuti sullo stesso batch
- Perché lo stato dell'ottimizzatore è spesso il più grande divoratore di memoria con Adam?
- Adam non memorizza alcuno stato aggiuntivo
- Adam mantiene valori aggiuntivi per parametro (come momentum e varianza), spesso diverse volte la dimensione del modello
- Adam duplica l'intero set di dati
- Adam richiede di memorizzare per sempre ogni gradiente passato
- Cosa fa lo shard di ZeRO Stage 3 rispetto agli Stage 1 e 2?
- I dati dell'allenamento
- La funzione di perdita
- I parametri del modello stesso
- Il programma del tasso di apprendimento
- In ZeRO Stage 3, come fa una GPU a ottenere tutti i parametri necessari per il passaggio in avanti di un livello?
- Non ha mai bisogno dei parametri completi
- Li scarica da Internet
- Li ricalcola da zero ogni volta
- Esegue una raccolta completa per raccogliere le fette mancanti, quindi le scarta in seguito
- Quale funzionalità PyTorch implementa nativamente lo sharding in stile ZeRO?
- FSDP (parallelo dati completamente condivisi)
- Caricatore di dati
- TorciaScript
- Autograd
- Qual è il compromesso principale che ZeRO offre per risparmiare memoria?
- Sacrifica la precisione del modello a favore della velocità
- Aggiunge ulteriore comunicazione per raccogliere e disperdere i frammenti secondo necessità
- Rimuove i livelli dal modello
- Funziona solo con modelli molto piccoli
- Quale stato è partizionato nello ZeRO Stage 1?
- Solo i parametri, con gli stati dell'ottimizzatore replicati
- Parametri, gradienti e stati dell'ottimizzatore tutti shardati
- Gli stati dell'ottimizzatore, mentre i parametri e i gradienti rimangono replicati
- Solo le attivazioni di input e le etichette
- Qual è il costo pratico del sharding in stile ZeRO?
- Rimuove la necessità di calcolare i gradienti
- Rende ogni aggiornamento dell'ottimizzatore locale senza scambio di dati
- Richiede che il modello sia riaddestrato da zero per ogni passo
- Comunicazione aggiuntiva per raccogliere i parametri e distribuire i gradienti