Quiz collegato alla guida · Medio Livello

Quiz sul decadimento del peso e sulla regolarizzazione di L2

Prova le penalità L2, la contrazione verso lo zero, l'equivalenza SGD, il disaccoppiamento AdamW, il ridimensionamento adattivo e la forza di decadimento nell'allenamento.

Domanda 1 di 8

Cosa aggiunge la regolarizzazione L2 alla funzione di perdita?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa aggiunge la regolarizzazione L2 alla funzione di perdita?
    • Il numero di livelli nella rete
    • Una penalità sul tasso di apprendimento
    • Il conteggio degli esempi di formazione
    • Una penalità proporzionale alla somma dei pesi al quadrato
  2. Qual è il problema principale che il calo ponderale aiuta a prevenire?
    • Caricamento dati lento
    • Overfitting, in cui il modello memorizza il rumore nei dati di addestramento
    • Guasti hardware
    • Etichette errate
  3. In quale direzione il decadimento del peso spinge i pesi del modello?
    • Verso l'infinito
    • Verso il peso più grande
    • Verso lo zero
    • Verso valori casuali
  4. Perché è stato introdotto AdamW?
    • Per disaccoppiare il decadimento del peso dall'aggiornamento del gradiente adattivo in modo che il decadimento si comporti correttamente
    • Per rimuovere completamente il gradiente
    • Per rendere l'allenamento più lento di proposito
    • Per eliminare la necessità di un tasso di apprendimento
  5. Per la semplice discesa del gradiente stocastico, come si relazionano la regolarizzazione di L2 e il decadimento del peso?
    • Sono sempre opposti
    • Sono matematicamente equivalenti
    • Il decadimento del peso disabilita il gradiente
    • L2 funziona solo per SGD con slancio
  6. Cosa controlla il coefficiente lambda nella regolarizzazione L2?
    • La dimensione del lotto
    • Il numero di epoche
    • La funzione di attivazione
    • La forza della penalità su grandi pesi
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size