Quiz collegato alla guida · Medio Livello
Quiz sul decadimento del peso e sulla regolarizzazione di L2
Prova le penalità L2, la contrazione verso lo zero, l'equivalenza SGD, il disaccoppiamento AdamW, il ridimensionamento adattivo e la forza di decadimento nell'allenamento.
Domanda 1 di 8
Cosa aggiunge la regolarizzazione L2 alla funzione di perdita?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa aggiunge la regolarizzazione L2 alla funzione di perdita?
- Il numero di livelli nella rete
- Una penalità sul tasso di apprendimento
- Il conteggio degli esempi di formazione
- Una penalità proporzionale alla somma dei pesi al quadrato
- Qual è il problema principale che il calo ponderale aiuta a prevenire?
- Caricamento dati lento
- Overfitting, in cui il modello memorizza il rumore nei dati di addestramento
- Guasti hardware
- Etichette errate
- In quale direzione il decadimento del peso spinge i pesi del modello?
- Verso l'infinito
- Verso il peso più grande
- Verso lo zero
- Verso valori casuali
- Perché è stato introdotto AdamW?
- Per disaccoppiare il decadimento del peso dall'aggiornamento del gradiente adattivo in modo che il decadimento si comporti correttamente
- Per rimuovere completamente il gradiente
- Per rendere l'allenamento più lento di proposito
- Per eliminare la necessità di un tasso di apprendimento
- Per la semplice discesa del gradiente stocastico, come si relazionano la regolarizzazione di L2 e il decadimento del peso?
- Sono sempre opposti
- Sono matematicamente equivalenti
- Il decadimento del peso disabilita il gradiente
- L2 funziona solo per SGD con slancio
- Cosa controlla il coefficiente lambda nella regolarizzazione L2?
- La dimensione del lotto
- Il numero di epoche
- La funzione di attivazione
- La forza della penalità su grandi pesi
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size