Gids-gekoppelde quiz · Middelmatig Niveau
Nesterov versnelde gradiëntquiz
Test huidige versus vooruitziende gradiënten, momentumcorrectie, convex-snelheidsbereik, vergelijkbare kosten, Nadam en een numerieke vooruitkijkstap.
Vraag 1 van 8
Wat is het bepalende idee van Nesterov Accelerated Gradient vergeleken met het klassieke momentum?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het bepalende idee van Nesterov Accelerated Gradient vergeleken met het klassieke momentum?
- Het neemt het momentum volledig weg
- Er wordt gebruik gemaakt van een vast leertempo van 1,0
- Het evalueert de gradiënt op een vooruitkijkpunt in plaats van op de huidige positie
- Het werkt alleen zonder minibatches
- Welk aantoonbaar convergentiepercentage bereikt de methode van Nesterov bij gladde convexe problemen?
- Bestel 1/k^2
- Bestel 1/k
- Bestel 1/log k
- Geen gegarandeerd tarief
- Wie heeft deze versnelde gradiëntmethode oorspronkelijk geïntroduceerd?
- Jeffrey Hinton in 2012
- Isaak Newton
- Johannes von Neumann
- Joeri Nesterov in 1983
- Waarom helpt de vooruitkijkgradiënt bij gebogen minima?
- Het verhoogt de leersnelheid
- Het anticipeert op overschrijding en past een correctie toe voordat dit gebeurt
- Het verwijdert de snelheidsterm
- Het randomiseert de staprichting
- Hoe verhouden de rekenkosten van het Nesterov-momentum zich in de praktijk tot het klassieke momentum?
- Ongeveer hetzelfde, dankzij een algebraïsch herschikte update
- Ongeveer tien keer hoger
- Het vereist bij elke stap een tweede afgeleide
- Het kan niet worden berekend op GPU's
- Welke adaptieve optimizer combineert Nesterov-look-ahead met schaling in Adam-stijl?
- RMSprop
- Adagrad
- Nadam
- LBFGS
- Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
- 10.18
- 9.82
- 8.20
- 10.90
- If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
- At a point displaced by the full old velocity
- At the previous validation score
- At an arbitrary future minibatch
- At the current parameter position