Kuis Adam dan Pengoptimal Adaptif

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dua kuantitas apa yang dilacak Adam untuk setiap parameter?
   • Rata-rata berjalan dari gradien dan gradien kuadrat
   • Gradien maksimum dan minimum yang pernah dilihat
   • Kecepatan pembelajaran dan ukuran batch
   • Nilai bobot dan tandanya
2. Mengapa Adam menerapkan koreksi bias pada estimasi momennya?
   • Karena gradien selalu negatif di awal pelatihan
   • Karena rata-rata pergerakan dimulai dari nol dan pada awalnya bias menuju nol
   • Untuk membuat kecepatan pembelajaran lebih besar dari waktu ke waktu
   • Untuk menghapus titik data outlier dari batch
3. Apa perbedaan utama antara Adam dan AdamW?
   • AdamW tidak menggunakan momentum sama sekali
   • AdamW menghapus estimasi momen kedua
   • AdamW memisahkan penurunan berat badan dari pembaruan berbasis gradien
   • AdamW hanya bekerja pada jaringan konvolusional
4. Apa peran suku epsilon kecil dalam aturan pembaruan Adam?
   • Ini menentukan kekuatan momentum
   • Ini mengontrol jumlah periode pelatihan
   • Ini meningkatkan besarnya gradien
   • Ini mencegah pembagian dengan nol dan menstabilkan pembaruan
5. Mengapa Adam sering digambarkan 'adaptif'?
   • Ini secara efektif memberikan setiap parameter ukuran langkah berskalanya sendiri
   • Ini mengubah arsitektur jaringan selama pelatihan
   • Ini menyesuaikan kumpulan data dengan model
   • Ini beralih antara klasifikasi dan regresi secara otomatis
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history