Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Ádám és az adaptív optimalizálók kvíz
Checks Adam’s gradient moments, bias correction, adaptive scaling, epsilon and AdamW’s decoupled weight-decay update. in the standard parameter update.
kérdés 1 -ból 8
Milyen két mennyiséget követ Ádám minden paraméterhez?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen két mennyiséget követ Ádám minden paraméterhez?
- A gradiensek és a négyzetes gradiensek futó átlaga
- A valaha látott maximális és minimális gradiens
- A tanulási sebesség és a köteg mérete
- A súlyérték és előjele
- Miért alkalmaz Adam torzításkorrekciót a pillanatbecsléseinél?
- Mert a gradiensek mindig negatívak az edzés elején
- Mivel a mozgóátlagok nulláról indulnak, és kezdetben nulla felé torzulnak
- Hogy a tanulási sebesség idővel nagyobb legyen
- A kiugró adatpontok eltávolítása a kötegből
- Mi a fő különbség Adam és AdamW között?
- AdamW egyáltalán nem használ lendületet
- AdamW eltávolítja a második pillanatbecslést
- Az AdamW leválasztja a súlycsökkenést a gradiens alapú frissítésről
- Az AdamW csak konvolúciós hálózatokon működik
- Milyen szerepet játszik a kis epszilon kifejezés Ádám frissítési szabályában?
- Beállítja a lendület erejét
- Szabályozza a képzési időszakok számát
- Növeli a gradiens nagyságát
- Megakadályozza a nullával való osztást és stabilizálja a frissítést
- Miért nevezik Ádámot gyakran „adaptívnak”?
- Hatékonyan megadja minden paraméternek a saját skálázott lépésméretét
- Az edzés során megváltoztatja a hálózati architektúrát
- Az adatkészletet a modellhez igazítja
- Automatikusan vált az osztályozás és a regresszió között
- Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
- Beta1
- Beta2
- Epsilon
- The weight-decay coefficient
- A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
- A modellrétegek száma
- The batch-normalization mean
- The second-moment estimate of squared gradients
- The AdamW weight-decay term alone
- What happens when beta2 is set closer to one, all else equal?
- The optimizer stops using gradients
- The first-moment estimate is deleted
- Weight decay becomes decoupled automatically
- The squared-gradient estimate decays more slowly and retains a longer history