Kuis Inisialisasi Berat

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Mengapa menginisialisasi semua bobot ke nol merupakan kesalahan fatal?
   • Semua neuron menerima gradien yang identik dan tidak pernah berdiferensiasi (simetri tidak rusak)
   • Itu membuat pelatihan menjadi terlalu cepat
   • Hal ini menyebabkan kerugian menjadi negatif
   • Ini menggunakan terlalu banyak memori
2. Inisialisasi He (Kaiming) dirancang khusus untuk fungsi aktivasi yang mana?
   • Sigmoid
   • ULT
   • Tanh
   • Softmax
3. Apa tujuan utama skema inisialisasi bobot yang berprinsip?
   • Untuk membuat semua bobot sama
   • Untuk mengatur setiap bobot menjadi satu
   • Untuk menjaga varian aktivasi dan gradien tetap konstan di seluruh lapisan
   • Untuk menghilangkan kebutuhan akan data
4. Inisialisasi Xavier (Glorot) paling cocok untuk jaringan yang menggunakan aktivasi apa?
   • ReLU dan variannya
   • Hanya aktivasi linier
   • Tidak ada aktivasi sama sekali
   • Tanh dan sigmoid
5. Mengapa inisialisasi He menggunakan varian 2 / fan_in daripada 1 / fan_in?
   • Untuk mengimbangi pengaturan ReLU sekitar setengah dari inputnya ke nol
   • Untuk membuat bobot lebih besar tanpa alasan
   • Untuk mengurangi jumlah parameter
   • Untuk mencocokkan ukuran batch
6. Bagaimana bias biasanya diinisialisasi ketika bobot diinisialisasi secara acak?
   • Untuk nilai positif yang sangat besar
   • Ke nol, karena simetri sudah dipecah oleh bobot acak
   • Dengan nilai yang sama dengan kecepatan pemelajaran
   • Untuk nilai acak yang lebih besar dari bobotnya
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32