Test legat de ghid · Mediu Nivel

Testul Adam și Adaptive Optimizers

Verifică momentele de gradient ale lui Adam, corecția părtinirii, scalarea adaptivă, epsilonul și actualizarea decuplată a scăderii greutății lui AdamW. în actualizarea standard a parametrilor.

Căi de ghidare aferenteAdam și optimizatorii adaptivi
Întrebare 1 de 8

Ce două cantități urmărește Adam pentru fiecare parametru?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce două cantități urmărește Adam pentru fiecare parametru?
    • Media curentă a pantelor și a pantelor pătrate
    • Gradientul maxim și minim văzut vreodată
    • Rata de învățare și dimensiunea lotului
    • Valoarea greutății și semnul acesteia
  2. De ce aplică Adam corecția de părtinire estimărilor sale de moment?
    • Pentru că gradienții sunt întotdeauna negativi la începutul antrenamentului
    • Deoarece mediile mobile încep de la zero și sunt îndreptate spre zero inițial
    • Pentru a crește rata de învățare în timp
    • Pentru a elimina punctele de date aberante din lot
  3. Care este principala diferență dintre Adam și AdamW?
    • AdamW nu folosește deloc impuls
    • AdamW elimină a doua estimare a momentului
    • AdamW decuplează scăderea greutății de actualizarea bazată pe gradient
    • AdamW funcționează numai pe rețele convoluționale
  4. Ce rol joacă termenul epsilon mic în regula de actualizare a lui Adam?
    • Stabilește puterea impulsului
    • Controlează numărul de epoci de antrenament
    • Mărește magnitudinea gradientului
    • Împiedică împărțirea la zero și stabilizează actualizarea
  5. De ce Adam este adesea descris ca fiind „adaptativ”?
    • Acesta oferă în mod eficient fiecărui parametru propria dimensiune a pasului la scară
    • Schimbă arhitectura rețelei în timpul antrenamentului
    • Acesta adaptează setul de date la model
    • Comută automat între clasificare și regresie
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • Numărul de straturi de model
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history