Quiz collegato alla guida · Medio Livello

Adam e il quiz sugli ottimizzatori adattivi

Controlla i momenti gradiente di Adam, la correzione del bias, il ridimensionamento adattivo, l'epsilon e l'aggiornamento disaccoppiato del decadimento del peso di AdamW. nell'aggiornamento dei parametri standard.

Percorsi guida correlatiAdam e gli ottimizzatori adattivi
Domanda 1 di 8

Quali due quantità tiene traccia di Adam per ciascun parametro?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quali due quantità tiene traccia di Adam per ciascun parametro?
    • La media corrente dei gradienti e dei gradienti quadrati
    • Il gradiente massimo e minimo mai visti
    • Il tasso di apprendimento e la dimensione del batch
    • Il valore del peso e il suo segno
  2. Perché Adam applica la correzione del bias alle sue stime del momento?
    • Perché i gradienti sono sempre negativi all'inizio dell'allenamento
    • Perché le medie mobili iniziano da zero e inizialmente sono sbilanciate verso lo zero
    • Per aumentare il tasso di apprendimento nel tempo
    • Per rimuovere punti dati anomali dal batch
  3. Qual è la differenza principale tra Adam e AdamW?
    • AdamW non utilizza alcuno slancio
    • AdamW rimuove la stima del secondo momento
    • AdamW disaccoppia il decadimento del peso dall'aggiornamento basato sul gradiente
    • AdamW funziona solo su reti convoluzionali
  4. Che ruolo gioca il termine epsilon piccolo nella regola di aggiornamento di Adam?
    • Imposta la forza dello slancio
    • Controlla il numero di epoche di allenamento
    • Aumenta l'entità del gradiente
    • Impedisce la divisione per zero e stabilizza l'aggiornamento
  5. Perché Adamo viene spesso descritto come “adattivo”?
    • Assegna effettivamente a ciascun parametro la propria dimensione del passo scalato
    • Cambia l'architettura di rete durante l'allenamento
    • Adatta il set di dati al modello
    • Passa automaticamente dalla classificazione alla regressione
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history