Kuis Lookahead dan Lion Optimizer

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa langkah komputasi yang menentukan dalam pembaruan bobot pengoptimal Lion?
   • Mengambil tanda dari istilah berbasis momentum
   • Membagi gradien dengan rata-rata lari kuadratnya
   • Menghitung perkiraan Hessian orde kedua
   • Rata-rata bobot di beberapa pos pemeriksaan
2. Bagaimana Lookahead menyusun pengoptimalannya?
   • Ini menggunakan satu set bobot yang diperbarui dua kali per langkah
   • Ia mempertahankan bobot 'cepat' yang diperbarui oleh pengoptimal dasar dan bobot 'lambat' yang secara berkala melakukan interpolasi terhadap bobot tersebut
   • Ini menghilangkan momentum sepenuhnya untuk menghemat memori
   • Ini melatih dua jaringan dan menghitung rata-rata keluarannya
3. Bagaimana pengoptimal Lion pertama kali ditemukan?
   • Dengan menurunkannya secara langsung dari teori optimasi cembung
   • Dengan rata-rata update SGD dan Adam
   • Melalui pencarian program simbolik otomatis melalui algoritma pengoptimal
   • Dari simulasi fisika gerak partikel
4. Dibandingkan dengan Adam, apa keunggulan memori utama Lion?
   • Ia tidak menyimpan negara sama sekali
   • Ia menggunakan bobot setengah presisi secara otomatis
   • Ia berbagi status di semua lapisan
   • Ia hanya menyimpan satu penyangga momentum, bukan dua tensor keadaan Adam
5. Mengapa Lion biasanya memerlukan kecepatan pemelajaran yang lebih kecil dibandingkan Adam?
   • Karena operasi tanda membuat besaran setiap pembaruan menjadi seragam, sehingga secara efektif menskalakan langkah tersebut
   • Karena tidak menggunakan momentum
   • Karena memproses batch yang lebih besar
   • Karena itu menonaktifkan penurunan berat badan
6. Manfaat praktis Lookahead adalah cenderung melakukan pelatihan:
   • Lebih sensitif terhadap pilihan hyperparameter
   • Lebih stabil dan kuat, dengan osilasi berkurang
   • Lebih lambat per langkah sebanyak sepuluh kali lipat
   • Tidak kompatibel dengan Adam atau SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop