Quiz collegato alla guida · Difficile Livello

Quiz sulla normalizzazione batch

Controlla le statistiche dei batch, la scala e lo spostamento affini, le medie correnti, l'instabilità dei batch di piccole dimensioni e le differenze tra BatchNorm e LayerNorm.

Percorsi guida correlatiNormalizzazione batch
Domanda 1 di 8

Cosa normalizza la normalizzazione batch?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa normalizza la normalizzazione batch?
    • Gli input a un livello, attraverso gli esempi nel mini-batch corrente
    • Le etichette di output finali della rete
    • Il programma del tasso di apprendimento nel tempo
    • La dimensione del set di dati di training
  2. Perché la normalizzazione batch include i parametri apprendibili gamma e beta?
    • Per aumentare la dimensione del set di dati
    • Lasciare che la rete ridimensioni e sposti i valori normalizzati, preservando il potere di rappresentanza
    • Per rilasciare casualmente i neuroni durante l'allenamento
    • Calcolare la funzione di perdita
  3. Qual è un vantaggio pratico comunemente citato della normalizzazione batch?
    • Elimina la necessità di dati di addestramento
    • Garantisce che il modello non possa adattarsi eccessivamente
    • Consente tassi di apprendimento più elevati e una convergenza più rapida e stabile
    • Elimina la necessità di una funzione di attivazione
  4. Al momento dell'inferenza (previsione di nuovi dati), quali statistiche utilizza la normalizzazione batch?
    • La media e la varianza del solo input singolo corrente
    • Statistiche generate casualmente ogni volta
    • Le statistiche del set di test vengono calcolate in anticipo
    • Medie correnti di media e varianza accumulate durante l'allenamento
  5. Perché la normalizzazione batch può comportarsi in modo inadeguato con batch di dimensioni molto piccole?
    • Le statistiche batch diventano stime rumorose e inaffidabili della distribuzione reale
    • I lotti piccoli rendono il modello troppo grande per essere contenuto nella memoria
    • Disabilita le funzioni di attivazione
    • I lotti piccoli impongono l'uso della regolarizzazione L1
  6. Quale tecnica di normalizzazione è più comunemente utilizzata nelle architetture dei trasformatori come alternativa alla normalizzazione batch?
    • Normalizzazione dell'abbandono
    • Normalizzazione degli strati
    • Normalizzazione L2 della perdita
    • Ritaglio gradiente
  7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
    • To retrain the model on test data
    • To make all activations exactly zero
    • So a prediction does not depend on which other examples happen to share the batch
    • To eliminate learned gamma and beta
  8. Where is BatchNorm commonly placed within a layer block according to the guide?
    • Only after the final prediction
    • Before the input data are loaded
    • Inside the optimizer update
    • Between the linear transformation and its activation function