Quiz collegato alla guida · Medio Livello

Quiz sull'accumulo di gradienti

Testare le somme dei gradienti dei micro-batch, la dimensione effettiva del batch, il ridimensionamento delle perdite, i tempi dell'ottimizzatore, i limiti di normalizzazione e gli errori di ripristino prematuri.

Percorsi guida correlatiAccumulo di gradienti
Domanda 1 di 8

Cosa ti consente principalmente di fare l’accumulo del gradiente?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa ti consente principalmente di fare l’accumulo del gradiente?
    • Allenati senza GPU
    • Salta il passaggio all'indietro
    • Simulare una dimensione batch effettiva maggiore su una memoria limitata
    • Elimina completamente l'ottimizzatore
  2. Con le fasi di accumulo delle dimensioni micro-batch 4 e 8, la dimensione effettiva del batch è:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Dopo ogni micro-lotto
    • Mai
    • Prima del passaggio in avanti
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Per mantenere corretto il tasso di apprendimento effettivo, la perdita per micro-batch è solitamente:
    • Moltiplicato per n
    • Diviso per il numero di passaggi di accumulo N
    • Impostato su zero
    • Sostituito con precisione
  5. Quale livello di normalizzazione si accoppia in modo più pulito con l'accumulo del gradiente?
    • Normalizzazione di livelli o gruppi, poiché non dipendono dalle statistiche batch
    • Normalizzazione dei lotti, perché ama i lotti piccoli
    • Nessuna normalizzazione funziona con esso
    • Solo abbandono
  6. Il costo principale dell’utilizzo dell’accumulo del gradiente è:
    • Più memoria GPU utilizzata al massimo
    • Perdita di tutti i gradienti
    • Tempo di clock più lungo per aggiornamento effettivo
    • Impossibilità di utilizzare un ottimizzatore
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch