Kuis Normalisasi Batch

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dinormalisasi oleh normalisasi batch?
   • Masukan ke lapisan, di seluruh contoh di mini-batch saat ini
   • Label keluaran akhir jaringan
   • Jadwal kecepatan pembelajaran dari waktu ke waktu
   • Ukuran set data pelatihan
2. Mengapa normalisasi batch menyertakan parameter gamma dan beta yang dapat dipelajari?
   • Untuk menambah ukuran kumpulan data
   • Untuk membiarkan jaringan menskalakan dan menggeser nilai-nilai yang dinormalisasi, menjaga kekuatan representasi
   • Untuk menjatuhkan neuron secara acak selama pelatihan
   • Untuk menghitung fungsi kerugian
3. Apa manfaat praktis yang sering dikutip dari normalisasi batch?
   • Ini menghilangkan kebutuhan akan data pelatihan apa pun
   • Ini menjamin model tidak bisa overfit
   • Hal ini memungkinkan kecepatan pembelajaran yang lebih tinggi dan konvergensi yang lebih cepat dan stabil
   • Ini menghilangkan kebutuhan akan fungsi aktivasi
4. Pada waktu inferensi (memprediksi data baru), statistik apa yang digunakan normalisasi batch?
   • Rata-rata dan varians dari masukan tunggal saat ini saja
   • Statistik yang dihasilkan secara acak setiap saat
   • Statistik set tes dihitung sebelumnya
   • Menjalankan rata-rata mean dan varians yang terakumulasi selama pelatihan
5. Mengapa normalisasi batch dapat berperilaku buruk dengan ukuran batch yang sangat kecil?
   • Statistik batch menjadi perkiraan distribusi sebenarnya yang berisik dan tidak dapat diandalkan
   • Batch kecil membuat model terlalu besar untuk disimpan dalam memori
   • Ini menonaktifkan fungsi aktivasi
   • Batch kecil memaksa penggunaan regularisasi L1
6. Teknik normalisasi manakah yang paling umum digunakan dalam arsitektur transformator sebagai alternatif normalisasi batch?
   • Normalisasi putus sekolah
   • Normalisasi lapisan
   • L2 normalisasi kerugian
   • Kliping gradien
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function