Kuis terkait panduan · Sedang Tingkat
Kuis Normalisasi Lapisan
Memeriksa statistik LayerNorm dan parameter affine, perilaku ukuran batch, epsilon, RMSNorm, dan penempatan pra-norma. dalam jaringan yang dalam.
Pertanyaan 1 dari 8
Dalam hal apa normalisasi lapisan menghitung mean dan variansnya?
Pratinjau setiap pertanyaan8 pertanyaan
Jawaban dan penjelasan muncul saat Anda mengikuti kuis.
- Dalam hal apa normalisasi lapisan menghitung mean dan variansnya?
- Seluruh fitur dari satu contoh
- Di semua contoh di mini-batch
- Di semua bobot dalam jaringan
- Di berbagai periode pelatihan
- Mengapa normalisasi lapisan lebih disukai daripada normalisasi batch pada transformator?
- Ini memerlukan ukuran batch yang sangat besar
- Ini tidak bergantung pada ukuran batch dan menangani urutan panjang variabel
- Ini menghilangkan kebutuhan akan parameter apa pun yang dapat dipelajari
- Ini hanya berfungsi selama inferensi
- Apa yang dapat dilakukan oleh parameter gamma dan beta yang dapat dipelajari oleh LayerNorm?
- Pilih kecepatan pembelajaran
- Atur jumlah lapisan
- Ubah skala dan geser keluaran yang dinormalisasi sehingga jaringan dapat memulihkan representasi yang berguna
- Hilangkan kebutuhan akan fungsi aktivasi
- Apa perbedaan RMSNorm dengan LayerNorm standar?
- Ini menjadi normal di seluruh batch
- Ia tidak menggunakan parameter dan tidak ada pembagian
- Ini hanya berfungsi pada gambar
- Ini melewatkan pengurangan rata-rata dan hanya membagi dengan akar rata-rata kuadrat
- Masalah apa yang terutama dibantu oleh normalisasi lapisan dalam jaringan dalam?
- Aktivasi berpindah ke skala yang sangat berbeda, sehingga mengganggu kestabilan pelatihan
- Kehabisan ruang disk
- Memilih kumpulan data yang tepat
- Mengenkripsi bobot model
- Mengapa penempatan 'pra-norma' sering digunakan pada trafo yang sangat dalam?
- Itu membuat modelnya lebih kecil
- Normalisasi sebelum setiap sublapisan membuat tumpukan dalam lebih mudah dan stabil untuk dilatih
- Ini menghilangkan mekanisme perhatian
- Ini menggandakan kecepatan pembelajaran secara otomatis
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling