Kvíz spojený s průvodcem · Střední úroveň
Kvíz Adam a adaptivní optimalizátory
Kontroluje Adamovy gradientní momenty, korekci zkreslení, adaptivní škálování, epsilon a aktualizaci AdamW’s odděleného úbytku hmotnosti. ve standardní aktualizaci parametrů.
Otázka 1 z 8
Jaké dvě veličiny Adam sleduje pro každý parametr?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké dvě veličiny Adam sleduje pro každý parametr?
- Klouzavý průměr gradientů a druhých mocnin gradientů
- Maximální a minimální gradient, jaký jsme kdy viděli
- Rychlost učení a velikost dávky
- Hodnota hmotnosti a její znaménko
- Proč Adam aplikuje korekci zkreslení na své momentové odhady?
- Protože sklony jsou vždy na začátku tréninku negativní
- Protože klouzavé průměry začínají na nule a zpočátku jsou vychýleny směrem k nule
- Aby se rychlost učení časem zvýšila
- Odstranění odlehlých datových bodů z dávky
- Jaký je hlavní rozdíl mezi Adamem a AdamW?
- AdamW nepoužívá vůbec žádnou hybnost
- AdamW odstraní odhad druhého momentu
- AdamW odděluje úbytek hmotnosti od aktualizace založené na gradientu
- AdamW funguje pouze na konvolučních sítích
- Jakou roli hraje malý epsilon člen v Adamově aktualizačním pravidle?
- Nastavuje sílu hybnosti
- Řídí počet tréninkových epoch
- Zvyšuje velikost gradientu
- Zabraňuje dělení nulou a stabilizuje aktualizaci
- Proč je Adam často popisován jako ‚adaptivní‘?
- Efektivně dává každému parametru jeho vlastní velikost kroku
- Během školení mění architekturu sítě
- Přizpůsobuje datovou sadu modelu
- Automaticky přepíná mezi klasifikací a regresí
- Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
- Beta1
- Beta2
- Epsilon
- The weight-decay coefficient
- A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
- The number of model layers
- The batch-normalization mean
- The second-moment estimate of squared gradients
- The AdamW weight-decay term alone
- What happens when beta2 is set closer to one, all else equal?
- The optimizer stops using gradients
- The first-moment estimate is deleted
- Weight decay becomes decoupled automatically
- The squared-gradient estimate decays more slowly and retains a longer history