Quiz collegato alla guida · Difficile Livello

Quiz sull'ottimizzazione del secondo ordine e sui metodi di Newton

Verifica in che modo la curvatura modifica una fase di ottimizzazione, cosa memorizzano i metodi quasi-Newton e quando il comportamento esatto di Newton dipende da un obiettivo quadratico.

Domanda 1 di 8

Quali informazioni utilizza il metodo di Newton rispetto alla discesa del gradiente semplice?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quali informazioni utilizza il metodo di Newton rispetto alla discesa del gradiente semplice?
    • Curvatura, tramite le derivate seconde nella matrice Hessiana
    • La posizione esatta del minimo globale
    • Il programma del tasso di apprendimento
    • Il numero di esempi di formazione
  2. Per un obiettivo perfettamente quadratico, quanti passaggi sono necessari al metodo di Newton per raggiungere il minimo?
    • Dieci passi esatti
    • Un passo
    • Lo stesso numero della discesa del gradiente
    • Non converge mai
  3. Perché il metodo completo di Newton non è pratico per le reti neurali con miliardi di parametri?
    • Il gradiente non può essere calcolato
    • Le derivate seconde sono sempre zero nelle reti neurali
    • L'Hessiano è N per N, e per invertirlo costa circa N memoria al quadrato e calcolo N al cubo
    • Funziona solo sulle immagini
  4. Cosa fanno i metodi quasi-Newton come BFGS per evitare il costo dell'Assia?
    • Ignorano completamente il gradiente
    • Indovinano casualmente la curvatura
    • Convertono il problema in uno lineare
    • Costruiscono un'approssimazione dell'Assia inversa da successive differenze di gradiente
  5. In che modo L-BFGS riduce la memoria rispetto a BFGS?
    • Memorizza solo gli ultimi vettori di gradiente e passo invece della matrice completa
    • Utilizza solo galleggianti a precisione singola
    • Elimina il gradiente dopo ogni passaggio
    • Si allena su meno parametri
  6. Quale approccio moderno si avvicina alla curvatura per accelerare l'addestramento di reti neurali di grandi dimensioni?
    • Codifica one-hot
    • Metodi con fattore Kronecker come K-FAC e Shampoo
    • Discesa del gradiente stocastico semplice senza modifiche
    • Abbandono
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes