Quiz collegato alla guida · Medio Livello
Quiz sull'accumulo di gradienti
Testare le somme dei gradienti dei micro-batch, la dimensione effettiva del batch, il ridimensionamento delle perdite, i tempi dell'ottimizzatore, i limiti di normalizzazione e gli errori di ripristino prematuri.
Domanda 1 di 8
Cosa ti consente principalmente di fare l’accumulo del gradiente?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa ti consente principalmente di fare l’accumulo del gradiente?
- Allenati senza GPU
- Salta il passaggio all'indietro
- Simulare una dimensione batch effettiva maggiore su una memoria limitata
- Elimina completamente l'ottimizzatore
- Con le fasi di accumulo delle dimensioni micro-batch 4 e 8, la dimensione effettiva del batch è:
- 32
- 4
- 8
- 12
- With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
- Dopo ogni micro-lotto
- Mai
- Prima del passaggio in avanti
- Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
- Per mantenere corretto il tasso di apprendimento effettivo, la perdita per micro-batch è solitamente:
- Moltiplicato per n
- Diviso per il numero di passaggi di accumulo N
- Impostato su zero
- Sostituito con precisione
- Quale livello di normalizzazione si accoppia in modo più pulito con l'accumulo del gradiente?
- Normalizzazione di livelli o gruppi, poiché non dipendono dalle statistiche batch
- Normalizzazione dei lotti, perché ama i lotti piccoli
- Nessuna normalizzazione funziona con esso
- Solo abbandono
- Il costo principale dell’utilizzo dell’accumulo del gradiente è:
- Più memoria GPU utilizzata al massimo
- Perdita di tutti i gradienti
- Tempo di clock più lungo per aggiornamento effettivo
- Impossibilità di utilizzare un ottimizzatore
- A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
- The model weights are deleted
- The earlier micro-batch contributions to the accumulated update
- The effective batch becomes four times larger
- The loss automatically becomes zero
- Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
- The optimizer cannot accept four backward passes
- Gradient addition is forbidden in BatchNorm
- The number of training examples changes
- BatchNorm uses statistics from each micro-batch rather than the combined batch