Nesterov beschleunigtes Gradientenquiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Was ist die entscheidende Idee des Nesterov Accelerated Gradient im Vergleich zum klassischen Impuls?
   • Es entfernt den Schwung vollständig
   • Es verwendet eine feste Lernrate von 1,0
   • Es wertet den Gradienten an einem Vorausschaupunkt und nicht an der aktuellen Position aus
   • Es funktioniert nur ohne Mini-Chargen
2. Welche nachweisbare Konvergenzrate erreicht Nesterovs Methode bei glatten konvexen Problemen?
   • Bestellen Sie 1/k^2
   • Bestellen Sie 1/k
   • Ordnung 1/log k
   • Kein garantierter Tarif
3. Wer hat diese beschleunigte Gradientenmethode ursprünglich eingeführt?
   • Geoffrey Hinton im Jahr 2012
   • Isaac Newton
   • John von Neumann
   • Jurij Nesterow im Jahr 1983
4. Warum hilft der Look-Ahead-Gradient in der Nähe gekrümmter Minima?
   • Es erhöht die Lernrate
   • Es antizipiert eine Überschreitung und führt eine Korrektur durch, bevor sie eintritt
   • Der Geschwindigkeitsterm wird gelöscht
   • Die Schrittrichtung wird zufällig festgelegt
5. Wie verhält es sich in der Praxis mit den Rechenkosten des Nesterov-Impulses im Vergleich zum klassischen Impuls?
   • Ungefähr das Gleiche, dank einer algebraisch neu angeordneten Aktualisierung
   • Ungefähr zehnmal höher
   • Es erfordert bei jedem Schritt zweite Ableitungen
   • Es kann nicht auf GPUs berechnet werden
6. Welcher adaptive Optimierer kombiniert Nesterov-Look-Ahead mit Skalierung im Adam-Stil?
   • RMSprop
   • Adagrad
   • Nadam
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position