Quiz collegato alla guida · Difficile Livello
Quiz sulla normalizzazione batch
Controlla le statistiche dei batch, la scala e lo spostamento affini, le medie correnti, l'instabilità dei batch di piccole dimensioni e le differenze tra BatchNorm e LayerNorm.
Domanda 1 di 8
Cosa normalizza la normalizzazione batch?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa normalizza la normalizzazione batch?
- Gli input a un livello, attraverso gli esempi nel mini-batch corrente
- Le etichette di output finali della rete
- Il programma del tasso di apprendimento nel tempo
- La dimensione del set di dati di training
- Perché la normalizzazione batch include i parametri apprendibili gamma e beta?
- Per aumentare la dimensione del set di dati
- Lasciare che la rete ridimensioni e sposti i valori normalizzati, preservando il potere di rappresentanza
- Per rilasciare casualmente i neuroni durante l'allenamento
- Calcolare la funzione di perdita
- Qual è un vantaggio pratico comunemente citato della normalizzazione batch?
- Elimina la necessità di dati di addestramento
- Garantisce che il modello non possa adattarsi eccessivamente
- Consente tassi di apprendimento più elevati e una convergenza più rapida e stabile
- Elimina la necessità di una funzione di attivazione
- Al momento dell'inferenza (previsione di nuovi dati), quali statistiche utilizza la normalizzazione batch?
- La media e la varianza del solo input singolo corrente
- Statistiche generate casualmente ogni volta
- Le statistiche del set di test vengono calcolate in anticipo
- Medie correnti di media e varianza accumulate durante l'allenamento
- Perché la normalizzazione batch può comportarsi in modo inadeguato con batch di dimensioni molto piccole?
- Le statistiche batch diventano stime rumorose e inaffidabili della distribuzione reale
- I lotti piccoli rendono il modello troppo grande per essere contenuto nella memoria
- Disabilita le funzioni di attivazione
- I lotti piccoli impongono l'uso della regolarizzazione L1
- Quale tecnica di normalizzazione è più comunemente utilizzata nelle architetture dei trasformatori come alternativa alla normalizzazione batch?
- Normalizzazione dell'abbandono
- Normalizzazione degli strati
- Normalizzazione L2 della perdita
- Ritaglio gradiente
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function