Gids-gekoppelde quiz · Middelmatig Niveau
Adam en Adaptive Optimizers-quiz
Controleert Adams gradiëntmomenten, bias-correctie, adaptieve schaling, epsilon en AdamW's ontkoppelde gewichtsverval-update. in de standaardparameterupdate.
Vraag 1 van 8
Welke twee grootheden houdt Adam bij voor elke parameter?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke twee grootheden houdt Adam bij voor elke parameter?
- Het lopende gemiddelde van hellingen en kwadratische hellingen
- De maximale en minimale helling ooit gezien
- Het leerpercentage en de batchgrootte
- De gewichtswaarde en het teken ervan
- Waarom past Adam bias-correctie toe op zijn momentschattingen?
- Omdat gradiënten altijd negatief zijn in het begin van de training
- Omdat de voortschrijdende gemiddelden bij nul beginnen en aanvankelijk naar nul neigen
- Om de leersnelheid in de loop van de tijd groter te maken
- Om uitbijtergegevenspunten uit de batch te verwijderen
- Wat is het belangrijkste verschil tussen Adam en AdamW?
- AdamW gebruikt helemaal geen momentum
- AdamW verwijdert de tweede momentschatting
- AdamW ontkoppelt gewichtsverval van de op gradiënt gebaseerde update
- AdamW werkt alleen op convolutionele netwerken
- Welke rol speelt de kleine epsilon-term in de updateregel van Adam?
- Het bepaalt de momentumsterkte
- Het regelt het aantal trainingsepochs
- Het vergroot de gradiëntgrootte
- Het voorkomt deling door nul en stabiliseert de update
- Waarom wordt Adam vaak omschreven als ‘adaptief’?
- Het geeft effectief elke parameter zijn eigen geschaalde stapgrootte
- Het verandert de netwerkarchitectuur tijdens de training
- Het past de dataset aan het model aan
- Het schakelt automatisch tussen classificatie en regressie
- Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
- Beta1
- Beta2
- Epsilon
- The weight-decay coefficient
- A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
- The number of model layers
- The batch-normalization mean
- The second-moment estimate of squared gradients
- The AdamW weight-decay term alone
- What happens when beta2 is set closer to one, all else equal?
- The optimizer stops using gradients
- The first-moment estimate is deleted
- Weight decay becomes decoupled automatically
- The squared-gradient estimate decays more slowly and retains a longer history