Gids-gekoppelde quiz · Middelmatig Niveau

Nesterov versnelde gradiëntquiz

Test huidige versus vooruitziende gradiënten, momentumcorrectie, convex-snelheidsbereik, vergelijkbare kosten, Nadam en een numerieke vooruitkijkstap.

Gerelateerde gidspadenNesterov versnelde gradiënt
Vraag 1 van 8

Wat is het bepalende idee van Nesterov Accelerated Gradient vergeleken met het klassieke momentum?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het bepalende idee van Nesterov Accelerated Gradient vergeleken met het klassieke momentum?
    • Het neemt het momentum volledig weg
    • Er wordt gebruik gemaakt van een vast leertempo van 1,0
    • Het evalueert de gradiënt op een vooruitkijkpunt in plaats van op de huidige positie
    • Het werkt alleen zonder minibatches
  2. Welk aantoonbaar convergentiepercentage bereikt de methode van Nesterov bij gladde convexe problemen?
    • Bestel 1/k^2
    • Bestel 1/k
    • Bestel 1/log k
    • Geen gegarandeerd tarief
  3. Wie heeft deze versnelde gradiëntmethode oorspronkelijk geïntroduceerd?
    • Jeffrey Hinton in 2012
    • Isaak Newton
    • Johannes von Neumann
    • Joeri Nesterov in 1983
  4. Waarom helpt de vooruitkijkgradiënt bij gebogen minima?
    • Het verhoogt de leersnelheid
    • Het anticipeert op overschrijding en past een correctie toe voordat dit gebeurt
    • Het verwijdert de snelheidsterm
    • Het randomiseert de staprichting
  5. Hoe verhouden de rekenkosten van het Nesterov-momentum zich in de praktijk tot het klassieke momentum?
    • Ongeveer hetzelfde, dankzij een algebraïsch herschikte update
    • Ongeveer tien keer hoger
    • Het vereist bij elke stap een tweede afgeleide
    • Het kan niet worden berekend op GPU's
  6. Welke adaptieve optimizer combineert Nesterov-look-ahead met schaling in Adam-stijl?
    • RMSprop
    • Adagrad
    • Nadam
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position