Test de optimizare de ordinul doi și metode Newton

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce informații folosește metoda lui Newton și nu o coborâre în gradient simplu?
   • Curbură, prin derivatele secunde din matricea Hessiană
   • Locația exactă a minimului global
   • Programul ratei de învățare
   • Numărul de exemple de instruire
2. Pentru un obiectiv perfect pătratic, de câți pași are nevoie metoda lui Newton pentru a atinge minimul?
   • Exact zece pași
   • Un pas
   • Același număr ca și coborârea în gradient
   • Nu converge niciodată
3. De ce este metoda completă a lui Newton nepractică pentru rețelele neuronale cu miliarde de parametri?
   • Gradientul nu poate fi calculat
   • Derivatele secunde sunt întotdeauna zero în rețelele neuronale
   • Hessianul este N-cu-N, costând aproximativ N-pătrat de memorie și N-cube de calcul pentru a inversa
   • Funcționează doar pe imagini
4. Ce fac metodele cvasi-Newton precum BFGS pentru a evita costul lui Hessian?
   • Ei ignoră în totalitate gradientul
   • Ei ghicesc la întâmplare curbura
   • Ei convertesc problema într-una liniară
   • Ei construiesc o aproximare a Hessianului invers din diferențele succesive de gradient
5. Cum reduce L-BFGS memoria în comparație cu BFGS?
   • Stochează doar ultimii câțiva vectori de gradient și pas în loc de matricea completă
   • Folosește doar flotoare cu o singură precizie
   • Îndepărtează gradientul după fiecare pas
   • Se antrenează pe mai puțini parametri
6. Ce abordare modernă aproximează curbura pentru a accelera antrenamentul rețelelor neuronale mari?
   • Codificare one-hot
   • Metode bazate pe factor Kronecker precum K-FAC și șampon
   • Coborâre simplă a gradientului stocastic fără modificări
   • Abandonul
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes