Penurunan Kecerunan Stokastik dengan Kuiz Momentum

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah jangka momentum terkumpul semasa latihan?
   • Jumlah bilangan zaman latihan
   • Purata larian (berwajaran eksponen) bagi kecerunan lalu
   • Saiz set data
   • Sejarah ketepatan model
2. Dalam jurang yang panjang dan sempit, apakah masalah yang dialami oleh SGD biasa yang dapat diselesaikan oleh momentum?
   • Ia melimpah secara berangka
   • Ia berhenti mengira kecerunan
   • Ia meningkatkan kadar pembelajaran secara automatik
   • Ia berzig-zag melintasi dinding curam sambil berjalan perlahan-lahan di sepanjang lantai
3. Nilai lalai biasa untuk pekali momentum ialah:
   • 0.9
   • 0.0
   • 0.5
   • 2.0
4. Analogi fizikal manakah yang paling kerap digunakan untuk menggambarkan momentum?
   • Bandul berayun selama-lamanya
   • Spring menyentap kembali
   • Bola berat bergolek menuruni bukit
   • Pembekuan air
5. Secara kasar berapakah momentum menguatkan langkah berkesan dalam arah yang konsisten apabila beta = 0.9?
   • Lebih kurang 2 kali
   • Kira-kira 0.1 kali
   • Tiada amplifikasi
   • Lebih kurang 10 kali
6. Pengoptimum moden manakah yang menggabungkan anggaran detik pertama gaya momentum?
   • Kaedah Newton
   • Adam
   • K-maksudnya
   • Carian rawak
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely