Penurunan Gradien Stochastic dengan Kuis Momentum

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Berapa istilah momentum yang diakumulasikan selama latihan?
   • Jumlah total periode pelatihan
   • Rata-rata berjalan (berbobot secara eksponensial) dari gradien masa lalu
   • Ukuran kumpulan data
   • Riwayat akurasi model
2. Dalam jurang yang panjang dan sempit, masalah apa yang dialami SGD yang dapat diperbaiki oleh momentum?
   • Itu meluap secara numerik
   • Ini menghentikan komputasi gradien
   • Ini meningkatkan kecepatan pembelajaran secara otomatis
   • Ia berjalan zig-zag melintasi dinding curam sambil berjalan perlahan di sepanjang lantai
3. Nilai default yang umum untuk koefisien momentum adalah:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Analogi fisika manakah yang paling sering digunakan untuk menggambarkan momentum?
   • Sebuah pendulum berayun selamanya
   • Pegas kembali muncul
   • Sebuah bola berat menggelinding menuruni bukit
   • Pembekuan air
5. Kira-kira seberapa besar momentum memperkuat langkah efektif dalam arah yang konsisten ketika beta = 0,9?
   • Sekitar 2 kali
   • Sekitar 0,1 kali
   • Tidak ada amplifikasi
   • Sekitar 10 kali
6. Pengoptimal modern manakah yang menyertakan estimasi momen pertama bergaya momentum?
   • metode Newton
   • adam
   • K-berarti
   • Pencarian acak
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely