Quiz collegato alla guida · Medio Livello

Quiz sul gradiente accelerato di Nesterov

Testare la corrente rispetto ai gradienti di previsione, la correzione del momento, l'ambito a velocità convessa, il costo comparabile, Nadam e un passaggio di previsione numerica.

Percorsi guida correlatiGradiente accelerato di Nesterov
Domanda 1 di 8

Qual è l'idea che definisce il gradiente accelerato di Nesterov rispetto allo slancio classico?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l'idea che definisce il gradiente accelerato di Nesterov rispetto allo slancio classico?
    • Rimuove completamente lo slancio
    • Utilizza un tasso di apprendimento fisso di 1,0
    • Valuta il gradiente in un punto di previsione anziché nella posizione corrente
    • Funziona solo senza mini-batch
  2. Quale tasso di convergenza dimostrabile raggiunge il metodo di Nesterov su problemi convessi lisci?
    • Ordina 1/k^2
    • Ordinare 1/k
    • Ordine 1/log k
    • Nessuna tariffa garantita
  3. Chi ha introdotto originariamente questo metodo del gradiente accelerato?
    • Geoffrey Hinton nel 2012
    • Isacco Newton
    • Giovanni von Neumann
    • Yuri Nesterov nel 1983
  4. Perché il gradiente look-ahead aiuta in prossimità dei minimi curvi?
    • Aumenta il tasso di apprendimento
    • Anticipa il superamento e applica una correzione prima che si verifichi
    • Elimina il termine di velocità
    • Rende casuale la direzione del passo
  5. In pratica, come si confronta il costo computazionale del momento di Nesterov con il momento classico?
    • Più o meno lo stesso, grazie ad un aggiornamento riorganizzato algebricamente
    • Circa dieci volte superiore
    • Richiede derivate seconde in ogni passaggio
    • Non può essere calcolato su GPU
  6. Quale ottimizzatore adattivo combina il look-ahead di Nesterov con il ridimensionamento in stile Adam?
    • RMSprop
    • Adagrad
    • Nadam
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position