Quiz lié à un guide · Moyen Niveau

Quiz sur le dégradé accéléré Nesterov

Testez les gradients actuels par rapport aux gradients d'anticipation, la correction de l'élan, la portée du taux convexe, le coût comparable, le Nadam et une étape d'anticipation numérique.

Chemins de guidage associésDégradé accéléré Nesterov
Question 1 de 8

Quelle est l’idée déterminante du gradient accéléré de Nesterov par rapport à l’élan classique ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est l’idée déterminante du gradient accéléré de Nesterov par rapport à l’élan classique ?
    • Cela supprime complètement l'élan
    • Il utilise un taux d'apprentissage fixe de 1,0
    • Il évalue le gradient à un point d'anticipation plutôt qu'à la position actuelle
    • Cela ne fonctionne que sans mini-lots
  2. Quel taux de convergence prouvable la méthode de Nesterov atteint-elle sur des problèmes convexes lisses ?
    • Commande 1/k^2
    • Commande 1/k
    • Commande 1/log k
    • Pas de tarif garanti
  3. Qui a introduit à l’origine cette méthode de gradient accéléré ?
    • Geoffrey Hinton en 2012
    • Isaac Newton
    • John von Neumann
    • Youri Nesterov en 1983
  4. Pourquoi le dégradé d'anticipation aide-t-il à s'approcher des minima courbes ?
    • Cela augmente le taux d’apprentissage
    • Il anticipe le dépassement et applique une correction avant qu'il ne se produise
    • Il supprime le terme de vitesse
    • Il randomise la direction du pas
  5. En pratique, comment le coût de calcul de l’impulsion de Nesterov se compare-t-il à l’impulsion classique ?
    • À peu près pareil, grâce à une mise à jour algébriquement réorganisée
    • Environ dix fois plus élevé
    • Cela nécessite des dérivées secondes à chaque étape
    • Il ne peut pas être calculé sur les GPU
  6. Quel optimiseur adaptatif combine l'anticipation de Nesterov avec une mise à l'échelle de style Adam ?
    • RMSprop
    • Adágrad
    • Nadam
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position