Kuis Penurunan Berat Badan dan Regularisasi L2

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang ditambahkan regularisasi L2 ke fungsi kerugian?
   • Jumlah lapisan dalam jaringan
   • Penalti pada kecepatan pembelajaran
   • Jumlah contoh pelatihan
   • Hukuman sebanding dengan jumlah bobot kuadrat
2. Apa masalah utama yang bisa dicegah oleh penurunan berat badan?
   • Pemuatan data lambat
   • Overfitting, dimana model mengingat noise dalam data pelatihan
   • Kegagalan perangkat keras
   • Label yang salah
3. Ke arah mana peluruhan bobot mendorong bobot model?
   • Menuju ketidakterbatasan
   • Menuju bobot terbesar
   • Menuju nol
   • Menuju nilai acak
4. Mengapa AdamW diperkenalkan?
   • Untuk memisahkan penurunan bobot dari pembaruan gradien adaptif sehingga peluruhan berfungsi dengan benar
   • Untuk menghapus gradien seluruhnya
   • Sengaja membuat latihan lebih lambat
   • Untuk menghilangkan kebutuhan akan kecepatan pembelajaran
5. Untuk penurunan gradien stokastik biasa, bagaimana hubungan regularisasi L2 dan peluruhan bobot?
   • Mereka selalu bertolak belakang
   • Mereka setara secara matematis
   • Peluruhan berat menonaktifkan gradien
   • L2 hanya berfungsi untuk SGD dengan momentum
6. Apa yang dikontrol koefisien lambda dalam regularisasi L2?
   • Ukuran kumpulan
   • Jumlah zaman
   • Fungsi aktivasi
   • Kekuatan penalti pada beban besar
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size