Kvíz spojený s průvodcem · Těžko úroveň
Optimalizace druhého řádu a kvíz Newtonových metod
Testuje, jak zakřivení změní krok optimalizace, jaké kvazi-Newtonovy metody ukládají a kdy přesné Newtonovo chování závisí na kvadratickém cíli.
Otázka 1 z 8
Jaké informace využívá Newtonova metoda, které prostý gradient sestup nepoužívá?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké informace využívá Newtonova metoda, které prostý gradient sestup nepoužívá?
- Zakřivení prostřednictvím druhých derivací v Hessově matici
- Přesné umístění globálního minima
- Rozvrh míry učení
- Počet tréninkových příkladů
- Kolik kroků potřebuje Newtonova metoda k dosažení minima pro dokonale kvadratický cíl?
- Přesně deset kroků
- Jeden krok
- Stejné číslo jako gradient klesání
- Nikdy se nesblíží
- Proč je plně Newtonova metoda nepraktická pro neuronové sítě s miliardami parametrů?
- Gradient nelze vypočítat
- Druhé derivace jsou v neuronových sítích vždy nulové
- Hessian je N-by-N, stojí asi N-kvadrát paměti a N-krychlový výpočet pro invertování
- Funguje pouze na obrázky
- Co dělají kvazi-newtonské metody jako BFGS, aby se vyhnuly Hessianovým nákladům?
- Gradient zcela ignorují
- Náhodně hádají zakřivení
- Převádějí problém na lineární
- Staví aproximaci inverzního Hessianu z postupných gradientových rozdílů
- Jak L-BFGS snižuje paměť ve srovnání s BFGS?
- Místo celé matice ukládá pouze několik posledních gradientů a krokových vektorů
- Používá pouze plováky s jednou přesností
- Po každém kroku zahodí gradient
- Trénuje se na méně parametrech
- Který moderní přístup aproximuje zakřivení, aby urychlil trénink velkých neuronových sítí?
- One-hot kódování
- Metody s faktorem Kronecker, jako je K-FAC a šampon
- Obyčejný stochastický gradient sestup bez úprav
- Výpadek
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes