Kuiz Lookahead dan Lion Optimizers

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah langkah pengiraan yang menentukan dalam kemas kini berat pengoptimum Lion?
   • Mengambil tanda istilah berasaskan momentum
   • Membahagikan kecerunan dengan purata larian kuasa duanya
   • Mengira anggaran Hessian tertib kedua
   • Purata berat merentas berbilang pusat pemeriksaan
2. Bagaimanakah Lookahead menstrukturkan pengoptimumannya?
   • Ia menggunakan satu set berat yang dikemas kini dua kali setiap langkah
   • Ia mengekalkan pemberat 'pantas' yang dikemas kini oleh pengoptimum asas dan pemberat 'perlahan' yang secara berkala interpolasi ke arahnya
   • Ia menghilangkan momentum sepenuhnya untuk menjimatkan memori
   • Ia melatih dua rangkaian dan purata output mereka
3. Bagaimanakah pengoptimum Singa pada asalnya ditemui?
   • Dengan mendapatkannya secara manual daripada teori pengoptimuman cembung
   • Dengan purata kemas kini SGD dan Adam
   • Melalui carian program simbolik automatik ke atas algoritma pengoptimum
   • Daripada simulasi fizik pergerakan zarah
4. Berbanding dengan Adam, apakah kelebihan ingatan utama Lion?
   • Ia tidak menyimpan keadaan sama sekali
   • Ia menggunakan berat separuh ketepatan secara automatik
   • Ia berkongsi keadaan merentas semua lapisan
   • Ia hanya mengekalkan satu penampan momentum dan bukannya dua tensor keadaan Adam
5. Mengapa Lion biasanya memerlukan kadar pembelajaran yang lebih kecil daripada Adam?
   • Kerana operasi tanda menjadikan setiap magnitud kemas kini seragam, menskalakan langkah dengan berkesan
   • Kerana ia tidak menggunakan momentum
   • Kerana ia memproses kelompok yang lebih besar
   • Kerana ia melumpuhkan pereputan berat badan
6. Manfaat praktikal Lookahead ialah ia cenderung untuk membuat latihan:
   • Lebih sensitif kepada pilihan hiperparameter
   • Lebih stabil dan teguh, dengan ayunan yang berkurangan
   • Lebih perlahan setiap langkah dengan faktor sepuluh
   • Tidak serasi dengan Adam atau SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop