Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Másodrendű optimalizálási és Newton-módszerek kvíz
Tests how curvature changes an optimization step, what quasi-Newton methods store, and when exact Newton behavior depends on a quadratic objective.
kérdés 1 -ból 8
Milyen információkat használ fel Newton módszere, amit a sima gradiens süllyedés nem?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen információkat használ fel Newton módszere, amit a sima gradiens süllyedés nem?
- Görbület, a Hess-mátrix második deriváltjain keresztül
- A globális minimum pontos helye
- A tanulási ütem ütemezése
- A képzési példák száma
- Egy tökéletesen kvadratikus objektívhez hány lépésre van szüksége Newton módszerének a minimum eléréséhez?
- Pontosan tíz lépés
- Egy lépés
- Ugyanannyi a szám, mint a gradiens süllyedés
- Soha nem konvergál
- Miért nem praktikus a teljes Newton-módszer milliárd paraméteres neurális hálózatok esetében?
- A gradiens nem számítható ki
- A második derivált mindig nulla a neurális hálózatokban
- A Hess-féle N-szer, körülbelül N-négyzetes memóriába és N-kockás számításba kerül az invertáláshoz
- Csak képeken működik
- Mit tesznek az olyan kvázi-Newton-módszerek, mint a BFGS, hogy elkerüljék a Hessian költségét?
- Teljesen figyelmen kívül hagyják a gradienst
- Véletlenül kitalálják a görbületet
- Átalakítják a problémát lineárissá
- Az egymást követő gradiens különbségekből építik fel az inverz Hessian közelítését
- Hogyan csökkenti az L-BFGS a memóriát a BFGS-hez képest?
- A teljes mátrix helyett csak az utolsó néhány gradiens- és lépésvektort tárolja
- Csak egyszeres precíziós úszót használ
- Minden lépés után elveti a gradienst
- Kevesebb paraméteren edz
- Melyik modern megközelítés közelíti meg a görbületet a nagy neurális hálózatok képzésének felgyorsítása érdekében?
- One-hot kódolás
- Kronecker-faktoros módszerek, mint a K-FAC és a sampon
- Sima sztochasztikus gradiens süllyedés, módosítások nélkül
- Lemorzsolódás
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes