Optimasi Orde Kedua dan Kuis Metode Newton

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Informasi apa yang tidak digunakan oleh metode Newton yang tidak dimiliki oleh penurunan gradien biasa?
   • Kelengkungan, melalui turunan kedua dalam matriks Hessian
   • Lokasi pasti dari minimum global
   • Jadwal kecepatan pembelajaran
   • Jumlah contoh pelatihan
2. Untuk mencapai tujuan kuadrat sempurna, berapa langkah yang diperlukan metode Newton untuk mencapai titik minimum?
   • Tepat sepuluh langkah
   • Satu langkah
   • Angka yang sama dengan penurunan gradien
   • Itu tidak pernah menyatu
3. Mengapa metode Newton penuh tidak praktis untuk jaringan saraf dengan miliaran parameter?
   • Gradien tidak dapat dihitung
   • Turunan kedua selalu nol di jaringan saraf
   • Hessian adalah N-kali-N, dengan biaya sekitar N-kuadrat memori dan N-hitung kubik untuk membalikkan
   • Ini hanya berfungsi pada gambar
4. Apa yang dilakukan metode kuasi-Newton seperti BFGS untuk menghindari biaya Hessian?
   • Mereka mengabaikan gradien sepenuhnya
   • Mereka secara acak menebak kelengkungannya
   • Mereka mengubah permasalahan menjadi permasalahan linear
   • Mereka membangun perkiraan invers Hessian dari perbedaan gradien yang berurutan
5. Bagaimana L-BFGS mengurangi memori dibandingkan dengan BFGS?
   • Ia hanya menyimpan beberapa vektor gradien dan langkah terakhir, bukan matriks penuh
   • Ia hanya menggunakan pelampung presisi tunggal
   • Ini membuang gradien setelah setiap langkah
   • Ini melatih pada parameter yang lebih sedikit
6. Pendekatan modern manakah yang mendekati kelengkungan untuk mempercepat pelatihan jaringan saraf besar?
   • Pengkodean satu-panas
   • Metode yang memperhitungkan Kronecker seperti K-FAC dan Shampoo
   • Penurunan gradien stokastik biasa tanpa modifikasi
   • Putus sekolah
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes