Kvíz spojený s průvodcem · Střední úroveň

Kvíz Adam a adaptivní optimalizátory

Kontroluje Adamovy gradientní momenty, korekci zkreslení, adaptivní škálování, epsilon a aktualizaci AdamW’s odděleného úbytku hmotnosti. ve standardní aktualizaci parametrů.

Související vodicí cestyAdam a adaptivní optimalizátory
Otázka 1 z 8

Jaké dvě veličiny Adam sleduje pro každý parametr?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké dvě veličiny Adam sleduje pro každý parametr?
    • Klouzavý průměr gradientů a druhých mocnin gradientů
    • Maximální a minimální gradient, jaký jsme kdy viděli
    • Rychlost učení a velikost dávky
    • Hodnota hmotnosti a její znaménko
  2. Proč Adam aplikuje korekci zkreslení na své momentové odhady?
    • Protože sklony jsou vždy na začátku tréninku negativní
    • Protože klouzavé průměry začínají na nule a zpočátku jsou vychýleny směrem k nule
    • Aby se rychlost učení časem zvýšila
    • Odstranění odlehlých datových bodů z dávky
  3. Jaký je hlavní rozdíl mezi Adamem a AdamW?
    • AdamW nepoužívá vůbec žádnou hybnost
    • AdamW odstraní odhad druhého momentu
    • AdamW odděluje úbytek hmotnosti od aktualizace založené na gradientu
    • AdamW funguje pouze na konvolučních sítích
  4. Jakou roli hraje malý epsilon člen v Adamově aktualizačním pravidle?
    • Nastavuje sílu hybnosti
    • Řídí počet tréninkových epoch
    • Zvyšuje velikost gradientu
    • Zabraňuje dělení nulou a stabilizuje aktualizaci
  5. Proč je Adam často popisován jako ‚adaptivní‘?
    • Efektivně dává každému parametru jeho vlastní velikost kroku
    • Během školení mění architekturu sítě
    • Přizpůsobuje datovou sadu modelu
    • Automaticky přepíná mezi klasifikací a regresí
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history