Pereputan Berat dan Kuiz Regularisasi L2

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah penyusunan L2 menambah kepada fungsi kehilangan?
   • Bilangan lapisan dalam rangkaian
   • Penalti ke atas kadar pembelajaran
   • Kiraan contoh latihan
   • Penalti yang berkadar dengan jumlah berat kuasa dua
2. Apakah masalah utama yang membantu mencegah pereputan berat badan?
   • Pemuatan data perlahan
   • Overfitting, di mana model menghafal bunyi dalam data latihan
   • Kegagalan perkakasan
   • Label yang salah
3. Ke arah manakah pereputan berat menolak pemberat model?
   • Menuju infiniti
   • Menuju berat terbesar
   • Menuju sifar
   • Ke arah nilai rawak
4. Mengapa AdamW diperkenalkan?
   • Untuk memisahkan pereputan berat daripada kemas kini kecerunan suai supaya pereputan berkelakuan dengan betul
   • Untuk mengalih keluar kecerunan sepenuhnya
   • Untuk membuat latihan lebih perlahan dengan sengaja
   • Untuk menghapuskan keperluan untuk kadar pembelajaran
5. Untuk keturunan kecerunan stokastik biasa, bagaimanakah kaitan regularisasi L2 dan pereputan berat?
   • Mereka sentiasa bertentangan
   • Mereka adalah setara secara matematik
   • Pereputan berat melumpuhkan kecerunan
   • L2 hanya berfungsi untuk SGD dengan momentum
6. Apakah yang dikawal oleh pekali lambda dalam regularisasi L2?
   • Saiz batch
   • Bilangan zaman
   • Fungsi pengaktifan
   • Kekuatan penalti pada berat yang besar
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size