Quiz collegato alla guida · Difficile Livello
Quiz sull'ottimizzazione del secondo ordine e sui metodi di Newton
Verifica in che modo la curvatura modifica una fase di ottimizzazione, cosa memorizzano i metodi quasi-Newton e quando il comportamento esatto di Newton dipende da un obiettivo quadratico.
Domanda 1 di 8
Quali informazioni utilizza il metodo di Newton rispetto alla discesa del gradiente semplice?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quali informazioni utilizza il metodo di Newton rispetto alla discesa del gradiente semplice?
- Curvatura, tramite le derivate seconde nella matrice Hessiana
- La posizione esatta del minimo globale
- Il programma del tasso di apprendimento
- Il numero di esempi di formazione
- Per un obiettivo perfettamente quadratico, quanti passaggi sono necessari al metodo di Newton per raggiungere il minimo?
- Dieci passi esatti
- Un passo
- Lo stesso numero della discesa del gradiente
- Non converge mai
- Perché il metodo completo di Newton non è pratico per le reti neurali con miliardi di parametri?
- Il gradiente non può essere calcolato
- Le derivate seconde sono sempre zero nelle reti neurali
- L'Hessiano è N per N, e per invertirlo costa circa N memoria al quadrato e calcolo N al cubo
- Funziona solo sulle immagini
- Cosa fanno i metodi quasi-Newton come BFGS per evitare il costo dell'Assia?
- Ignorano completamente il gradiente
- Indovinano casualmente la curvatura
- Convertono il problema in uno lineare
- Costruiscono un'approssimazione dell'Assia inversa da successive differenze di gradiente
- In che modo L-BFGS riduce la memoria rispetto a BFGS?
- Memorizza solo gli ultimi vettori di gradiente e passo invece della matrice completa
- Utilizza solo galleggianti a precisione singola
- Elimina il gradiente dopo ogni passaggio
- Si allena su meno parametri
- Quale approccio moderno si avvicina alla curvatura per accelerare l'addestramento di reti neurali di grandi dimensioni?
- Codifica one-hot
- Metodi con fattore Kronecker come K-FAC e Shampoo
- Discesa del gradiente stocastico semplice senza modifiche
- Abbandono
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes