Kuis Gradien yang Dipercepat Nesterov

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa gagasan yang membedakan Nesterov Accelerated Gradient dibandingkan dengan momentum klasik?
   • Ini menghilangkan momentum sepenuhnya
   • Ini menggunakan kecepatan pembelajaran tetap 1,0
   • Ini mengevaluasi gradien pada titik pandang ke depan, bukan pada posisi saat ini
   • Ini hanya berfungsi tanpa mini-batch
2. Berapa tingkat konvergensi yang dapat dibuktikan yang dicapai metode Nesterov pada permasalahan cembung mulus?
   • Pesan 1/k^2
   • Pesan 1/k
   • Pesan 1/log k
   • Tidak ada tarif yang dijamin
3. Siapa yang pertama kali memperkenalkan metode gradien dipercepat ini?
   • Geoffrey Hinton pada tahun 2012
   • Isaac Newton
   • John von Neumann
   • Yurii Nesterov pada tahun 1983
4. Mengapa gradien pandangan ke depan membantu mendekati titik minimum melengkung?
   • Ini meningkatkan kecepatan pembelajaran
   • Ini mengantisipasi overshoot dan menerapkan koreksi sebelum hal itu terjadi
   • Ini menghapus istilah kecepatan
   • Ini mengacak arah langkah
5. Dalam praktiknya, bagaimana biaya komputasi momentum Nesterov dibandingkan dengan momentum klasik?
   • Kurang lebih sama, berkat pembaruan yang disusun ulang secara aljabar
   • Sekitar sepuluh kali lebih tinggi
   • Ini membutuhkan turunan kedua di setiap langkah
   • Itu tidak dapat dihitung pada GPU
6. Pengoptimal adaptif manakah yang menggabungkan pandangan ke depan Nesterov dengan penskalaan gaya Adam?
   • RMSprop
   • Adagrad
   • Nadam
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position