Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Ádám és az adaptív optimalizálók kvíz

Checks Adam’s gradient moments, bias correction, adaptive scaling, epsilon and AdamW’s decoupled weight-decay update. in the standard parameter update.

Kapcsolódó útmutató utakÁdám és az adaptív optimalizálók
kérdés 1 -ból 8

Milyen két mennyiséget követ Ádám minden paraméterhez?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen két mennyiséget követ Ádám minden paraméterhez?
    • A gradiensek és a négyzetes gradiensek futó átlaga
    • A valaha látott maximális és minimális gradiens
    • A tanulási sebesség és a köteg mérete
    • A súlyérték és előjele
  2. Miért alkalmaz Adam torzításkorrekciót a pillanatbecsléseinél?
    • Mert a gradiensek mindig negatívak az edzés elején
    • Mivel a mozgóátlagok nulláról indulnak, és kezdetben nulla felé torzulnak
    • Hogy a tanulási sebesség idővel nagyobb legyen
    • A kiugró adatpontok eltávolítása a kötegből
  3. Mi a fő különbség Adam és AdamW között?
    • AdamW egyáltalán nem használ lendületet
    • AdamW eltávolítja a második pillanatbecslést
    • Az AdamW leválasztja a súlycsökkenést a gradiens alapú frissítésről
    • Az AdamW csak konvolúciós hálózatokon működik
  4. Milyen szerepet játszik a kis epszilon kifejezés Ádám frissítési szabályában?
    • Beállítja a lendület erejét
    • Szabályozza a képzési időszakok számát
    • Növeli a gradiens nagyságát
    • Megakadályozza a nullával való osztást és stabilizálja a frissítést
  5. Miért nevezik Ádámot gyakran „adaptívnak”?
    • Hatékonyan megadja minden paraméternek a saját skálázott lépésméretét
    • Az edzés során megváltoztatja a hálózati architektúrát
    • Az adatkészletet a modellhez igazítja
    • Automatikusan vált az osztályozás és a regresszió között
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • A modellrétegek száma
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history