Quiz collegato alla guida · Difficile Livello

Quiz su ZeRO e ottimizzatori frammentati

Copre le fasi ZeRO, la memoria dello stato Adam, la raccolta dei parametri, la riduzione del gradiente, le opzioni di offload e i costi di comunicazione.

Percorsi guida correlatiOttimizzatori zero e frammentati
Domanda 1 di 8

Quale ridondanza elimina ZeRO rispetto al semplice parallelismo dei dati?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale ridondanza elimina ZeRO rispetto al semplice parallelismo dei dati?
    • Duplica copie complete dello stato, dei gradienti e dei parametri dell'ottimizzatore su ogni GPU
    • Copie duplicate dei dati di addestramento su ciascuna GPU
    • Cavi di rete ridondanti tra i nodi
    • Passaggi successivi ripetuti sullo stesso batch
  2. Perché lo stato dell'ottimizzatore è spesso il più grande divoratore di memoria con Adam?
    • Adam non memorizza alcuno stato aggiuntivo
    • Adam mantiene valori aggiuntivi per parametro (come momentum e varianza), spesso diverse volte la dimensione del modello
    • Adam duplica l'intero set di dati
    • Adam richiede di memorizzare per sempre ogni gradiente passato
  3. Cosa fa lo shard di ZeRO Stage 3 rispetto agli Stage 1 e 2?
    • I dati dell'allenamento
    • La funzione di perdita
    • I parametri del modello stesso
    • Il programma del tasso di apprendimento
  4. In ZeRO Stage 3, come fa una GPU a ottenere tutti i parametri necessari per il passaggio in avanti di un livello?
    • Non ha mai bisogno dei parametri completi
    • Li scarica da Internet
    • Li ricalcola da zero ogni volta
    • Esegue una raccolta completa per raccogliere le fette mancanti, quindi le scarta in seguito
  5. Quale funzionalità PyTorch implementa nativamente lo sharding in stile ZeRO?
    • FSDP (parallelo dati completamente condivisi)
    • Caricatore di dati
    • TorciaScript
    • Autograd
  6. Qual è il compromesso principale che ZeRO offre per risparmiare memoria?
    • Sacrifica la precisione del modello a favore della velocità
    • Aggiunge ulteriore comunicazione per raccogliere e disperdere i frammenti secondo necessità
    • Rimuove i livelli dal modello
    • Funziona solo con modelli molto piccoli
  7. Quale stato è partizionato nello ZeRO Stage 1?
    • Solo i parametri, con gli stati dell'ottimizzatore replicati
    • Parametri, gradienti e stati dell'ottimizzatore tutti shardati
    • Gli stati dell'ottimizzatore, mentre i parametri e i gradienti rimangono replicati
    • Solo le attivazioni di input e le etichette
  8. Qual è il costo pratico del sharding in stile ZeRO?
    • Rimuove la necessità di calcolare i gradienti
    • Rende ogni aggiornamento dell'ottimizzatore locale senza scambio di dati
    • Richiede che il modello sia riaddestrato da zero per ogni passo
    • Comunicazione aggiuntiva per raccogliere i parametri e distribuire i gradienti