Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Adam na Adaptive Optimizers

Hukagua nyakati za upinde wa mvua za Adamu, urekebishaji wa kuegemea upande mwingine, kuongeza kiwango, epsilon na sasisho la AdamW lililotenganishwa la kuoza. katika sasisho la kawaida la parameta.

Njia za mwongozo zinazohusianaAdam na Adaptive Optimizers
Swali 1 ya 8

Je, Adamu anafuatilia idadi gani mbili kwa kila paramu?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, Adamu anafuatilia idadi gani mbili kwa kila paramu?
    • Wastani wa kukimbia wa mikunjo na mikunjo ya mraba
    • Upeo na kiwango cha chini cha upinde rangi kuwahi kuonekana
    • Kiwango cha kujifunza na ukubwa wa kundi
    • Thamani ya uzito na ishara yake
  2. Kwa nini Adamu anatumia marekebisho ya upendeleo kwa makadirio yake ya wakati huu?
    • Kwa sababu gradients daima ni hasi mapema katika mafunzo
    • Kwa sababu wastani wa kusonga huanzia sifuri na huegemea kuelekea sifuri mwanzoni
    • Ili kufanya kiwango cha kujifunza kuwa kikubwa zaidi kwa wakati
    • Ili kuondoa vidokezo vya data kutoka kwa kundi
  3. Ni tofauti gani kuu kati ya Adamu na AdamW?
    • AdamW haitumii kasi hata kidogo
    • AdamW huondoa makadirio ya muda wa pili
    • AdamW hutenganisha kuoza kwa uzito kutoka kwa sasisho la msingi wa gradient
    • AdamW inafanya kazi kwenye mitandao ya ushawishi pekee
  4. Neno dogo la epsilon lina jukumu gani katika sheria ya sasisho ya Adamu?
    • Inaweka nguvu ya kasi
    • Inadhibiti idadi ya nyakati za mafunzo
    • Inaongeza ukubwa wa gradient
    • Inazuia mgawanyiko kwa sifuri na kuimarisha sasisho
  5. Kwa nini Adamu mara nyingi huelezewa kama 'adaptive'?
    • Inatoa kila parameta kwa ukubwa wake wa hatua iliyopimwa
    • Inabadilisha usanifu wa mtandao wakati wa mafunzo
    • Inabadilisha seti ya data kwa mfano
    • Inabadilisha kati ya uainishaji na urejeshaji kiotomatiki
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history