Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Másodrendű optimalizálási és Newton-módszerek kvíz

Tests how curvature changes an optimization step, what quasi-Newton methods store, and when exact Newton behavior depends on a quadratic objective.

kérdés 1 -ból 8

Milyen információkat használ fel Newton módszere, amit a sima gradiens süllyedés nem?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen információkat használ fel Newton módszere, amit a sima gradiens süllyedés nem?
    • Görbület, a Hess-mátrix második deriváltjain keresztül
    • A globális minimum pontos helye
    • A tanulási ütem ütemezése
    • A képzési példák száma
  2. Egy tökéletesen kvadratikus objektívhez hány lépésre van szüksége Newton módszerének a minimum eléréséhez?
    • Pontosan tíz lépés
    • Egy lépés
    • Ugyanannyi a szám, mint a gradiens süllyedés
    • Soha nem konvergál
  3. Miért nem praktikus a teljes Newton-módszer milliárd paraméteres neurális hálózatok esetében?
    • A gradiens nem számítható ki
    • A második derivált mindig nulla a neurális hálózatokban
    • A Hess-féle N-szer, körülbelül N-négyzetes memóriába és N-kockás számításba kerül az invertáláshoz
    • Csak képeken működik
  4. Mit tesznek az olyan kvázi-Newton-módszerek, mint a BFGS, hogy elkerüljék a Hessian költségét?
    • Teljesen figyelmen kívül hagyják a gradienst
    • Véletlenül kitalálják a görbületet
    • Átalakítják a problémát lineárissá
    • Az egymást követő gradiens különbségekből építik fel az inverz Hessian közelítését
  5. Hogyan csökkenti az L-BFGS a memóriát a BFGS-hez képest?
    • A teljes mátrix helyett csak az utolsó néhány gradiens- és lépésvektort tárolja
    • Csak egyszeres precíziós úszót használ
    • Minden lépés után elveti a gradienst
    • Kevesebb paraméteren edz
  6. Melyik modern megközelítés közelíti meg a görbületet a nagy neurális hálózatok képzésének felgyorsítása érdekében?
    • One-hot kódolás
    • Kronecker-faktoros módszerek, mint a K-FAC és a sampon
    • Sima sztochasztikus gradiens süllyedés, módosítások nélkül
    • Lemorzsolódás
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes