Quiz collegato alla guida · Medio Livello
Adam e il quiz sugli ottimizzatori adattivi
Controlla i momenti gradiente di Adam, la correzione del bias, il ridimensionamento adattivo, l'epsilon e l'aggiornamento disaccoppiato del decadimento del peso di AdamW. nell'aggiornamento dei parametri standard.
Domanda 1 di 8
Quali due quantità tiene traccia di Adam per ciascun parametro?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quali due quantità tiene traccia di Adam per ciascun parametro?
- La media corrente dei gradienti e dei gradienti quadrati
- Il gradiente massimo e minimo mai visti
- Il tasso di apprendimento e la dimensione del batch
- Il valore del peso e il suo segno
- Perché Adam applica la correzione del bias alle sue stime del momento?
- Perché i gradienti sono sempre negativi all'inizio dell'allenamento
- Perché le medie mobili iniziano da zero e inizialmente sono sbilanciate verso lo zero
- Per aumentare il tasso di apprendimento nel tempo
- Per rimuovere punti dati anomali dal batch
- Qual è la differenza principale tra Adam e AdamW?
- AdamW non utilizza alcuno slancio
- AdamW rimuove la stima del secondo momento
- AdamW disaccoppia il decadimento del peso dall'aggiornamento basato sul gradiente
- AdamW funziona solo su reti convoluzionali
- Che ruolo gioca il termine epsilon piccolo nella regola di aggiornamento di Adam?
- Imposta la forza dello slancio
- Controlla il numero di epoche di allenamento
- Aumenta l'entità del gradiente
- Impedisce la divisione per zero e stabilizza l'aggiornamento
- Perché Adamo viene spesso descritto come “adattivo”?
- Assegna effettivamente a ciascun parametro la propria dimensione del passo scalato
- Cambia l'architettura di rete durante l'allenamento
- Adatta il set di dati al modello
- Passa automaticamente dalla classificazione alla regressione
- Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
- Beta1
- Beta2
- Epsilon
- The weight-decay coefficient
- A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
- The number of model layers
- The batch-normalization mean
- The second-moment estimate of squared gradients
- The AdamW weight-decay term alone
- What happens when beta2 is set closer to one, all else equal?
- The optimizer stops using gradients
- The first-moment estimate is deleted
- Weight decay becomes decoupled automatically
- The squared-gradient estimate decays more slowly and retains a longer history