Kvíz spojený s průvodcem · Těžko úroveň

Optimalizace druhého řádu a kvíz Newtonových metod

Testuje, jak zakřivení změní krok optimalizace, jaké kvazi-Newtonovy metody ukládají a kdy přesné Newtonovo chování závisí na kvadratickém cíli.

Otázka 1 z 8

Jaké informace využívá Newtonova metoda, které prostý gradient sestup nepoužívá?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké informace využívá Newtonova metoda, které prostý gradient sestup nepoužívá?
    • Zakřivení prostřednictvím druhých derivací v Hessově matici
    • Přesné umístění globálního minima
    • Rozvrh míry učení
    • Počet tréninkových příkladů
  2. Kolik kroků potřebuje Newtonova metoda k dosažení minima pro dokonale kvadratický cíl?
    • Přesně deset kroků
    • Jeden krok
    • Stejné číslo jako gradient klesání
    • Nikdy se nesblíží
  3. Proč je plně Newtonova metoda nepraktická pro neuronové sítě s miliardami parametrů?
    • Gradient nelze vypočítat
    • Druhé derivace jsou v neuronových sítích vždy nulové
    • Hessian je N-by-N, stojí asi N-kvadrát paměti a N-krychlový výpočet pro invertování
    • Funguje pouze na obrázky
  4. Co dělají kvazi-newtonské metody jako BFGS, aby se vyhnuly Hessianovým nákladům?
    • Gradient zcela ignorují
    • Náhodně hádají zakřivení
    • Převádějí problém na lineární
    • Staví aproximaci inverzního Hessianu z postupných gradientových rozdílů
  5. Jak L-BFGS snižuje paměť ve srovnání s BFGS?
    • Místo celé matice ukládá pouze několik posledních gradientů a krokových vektorů
    • Používá pouze plováky s jednou přesností
    • Po každém kroku zahodí gradient
    • Trénuje se na méně parametrech
  6. Který moderní přístup aproximuje zakřivení, aby urychlil trénink velkých neuronových sítí?
    • One-hot kódování
    • Metody s faktorem Kronecker, jako je K-FAC a šampon
    • Obyčejný stochastický gradient sestup bez úprav
    • Výpadek
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes