Pengoptimuman Tertib Kedua dan Kuiz Kaedah Newton

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah maklumat yang digunakan oleh kaedah Newton yang tidak digunakan oleh keturunan kecerunan biasa?
   • Kelengkungan, melalui derivatif kedua dalam matriks Hessian
   • Lokasi sebenar minimum global
   • Jadual kadar pembelajaran
   • Bilangan contoh latihan
2. Untuk objektif kuadratik sempurna, berapa banyakkah langkah yang diperlukan oleh kaedah Newton untuk mencapai tahap minimum?
   • Tepat sepuluh langkah
   • Satu langkah
   • Nombor yang sama dengan keturunan kecerunan
   • Ia tidak pernah menumpu
3. Mengapakah kaedah Newton penuh tidak praktikal untuk rangkaian neural bilion parameter?
   • Kecerunan tidak boleh dikira
   • Derivatif kedua sentiasa sifar dalam rangkaian saraf
   • Hessian ialah N-by-N, berharga kira-kira memori N-kuadrat dan pengiraan N-kubus untuk menyongsangkan
   • Ia hanya berfungsi pada imej
4. Apakah kaedah kuasi-Newton seperti BFGS lakukan untuk mengelakkan kos Hessian?
   • Mereka mengabaikan kecerunan sepenuhnya
   • Mereka secara rawak meneka kelengkungan itu
   • Mereka menukar masalah kepada masalah linear
   • Mereka membina penghampiran Hessian songsang daripada perbezaan kecerunan berturut-turut
5. Bagaimanakah L-BFGS mengurangkan ingatan berbanding BFGS?
   • Ia hanya menyimpan beberapa vektor kecerunan dan langkah terakhir dan bukannya matriks penuh
   • Ia menggunakan terapung ketepatan tunggal sahaja
   • Ia membuang kecerunan selepas setiap langkah
   • Ia melatih pada parameter yang lebih sedikit
6. Pendekatan moden yang manakah menghampiri kelengkungan untuk mempercepatkan latihan rangkaian saraf yang besar?
   • Pengekodan satu-panas
   • Kaedah berfaktor Kronecker seperti K-FAC dan Syampu
   • Penurunan kecerunan stokastik biasa tanpa pengubahsuaian
   • Keciciran
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes