Gids-gekoppelde quiz · Middelmatig Niveau

Adam en Adaptive Optimizers-quiz

Controleert Adams gradiëntmomenten, bias-correctie, adaptieve schaling, epsilon en AdamW's ontkoppelde gewichtsverval-update. in de standaardparameterupdate.

Gerelateerde gidspadenAdam en adaptieve optimizers
Vraag 1 van 8

Welke twee grootheden houdt Adam bij voor elke parameter?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke twee grootheden houdt Adam bij voor elke parameter?
    • Het lopende gemiddelde van hellingen en kwadratische hellingen
    • De maximale en minimale helling ooit gezien
    • Het leerpercentage en de batchgrootte
    • De gewichtswaarde en het teken ervan
  2. Waarom past Adam bias-correctie toe op zijn momentschattingen?
    • Omdat gradiënten altijd negatief zijn in het begin van de training
    • Omdat de voortschrijdende gemiddelden bij nul beginnen en aanvankelijk naar nul neigen
    • Om de leersnelheid in de loop van de tijd groter te maken
    • Om uitbijtergegevenspunten uit de batch te verwijderen
  3. Wat is het belangrijkste verschil tussen Adam en AdamW?
    • AdamW gebruikt helemaal geen momentum
    • AdamW verwijdert de tweede momentschatting
    • AdamW ontkoppelt gewichtsverval van de op gradiënt gebaseerde update
    • AdamW werkt alleen op convolutionele netwerken
  4. Welke rol speelt de kleine epsilon-term in de updateregel van Adam?
    • Het bepaalt de momentumsterkte
    • Het regelt het aantal trainingsepochs
    • Het vergroot de gradiëntgrootte
    • Het voorkomt deling door nul en stabiliseert de update
  5. Waarom wordt Adam vaak omschreven als ‘adaptief’?
    • Het geeft effectief elke parameter zijn eigen geschaalde stapgrootte
    • Het verandert de netwerkarchitectuur tijdens de training
    • Het past de dataset aan het model aan
    • Het schakelt automatisch tussen classificatie en regressie
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history