Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Normalisasi Lapisan
Menyemak statistik LayerNorm dan parameter afin, tingkah laku saiz kelompok, epsilon, RMSNorm dan penempatan pra-norma. dalam rangkaian yang mendalam.
soalan 1 daripada 8
Merentasi apakah normalisasi lapisan mengira min dan variansnya?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Merentasi apakah normalisasi lapisan mengira min dan variansnya?
- Merentasi ciri satu contoh
- Merentasi semua contoh dalam kumpulan mini
- Merentasi semua pemberat dalam rangkaian
- Merentasi pelbagai zaman latihan
- Mengapakah penormalan lapisan diutamakan berbanding penormalan kelompok dalam transformer?
- Ia memerlukan saiz kumpulan yang sangat besar
- Ia bebas daripada saiz kelompok dan mengendalikan urutan panjang berubah-ubah
- Ia menghapuskan keperluan untuk sebarang parameter yang boleh dipelajari
- Ia hanya berfungsi semasa inferens
- Apakah yang boleh dipelajari oleh parameter gamma dan beta yang dibenarkan oleh LayerNorm?
- Pilih kadar pembelajaran
- Tetapkan bilangan lapisan
- Skala semula dan alihkan output yang dinormalkan supaya rangkaian dapat memulihkan perwakilan yang berguna
- Keluarkan keperluan untuk fungsi pengaktifan
- Bagaimanakah RMSNorm berbeza daripada LayerNorm standard?
- Sebaliknya, ia menjadi normal merentasi kumpulan
- Ia tidak menggunakan parameter dan tiada pembahagian
- Ia hanya berfungsi pada imej
- Ia melangkau min penolakan dan membahagi hanya dengan punca-min-petak dua
- Apakah masalah yang biasanya dibantu oleh normalisasi lapisan dalam rangkaian dalam?
- Pengaktifan melayang ke skala yang sangat berbeza, yang menjejaskan kestabilan latihan
- Kehabisan ruang cakera
- Memilih set data yang betul
- Menyulitkan berat model
- Mengapakah peletakan 'pra-norma' sering digunakan dalam transformer yang sangat dalam?
- Ia menjadikan model lebih kecil
- Menormalkan sebelum setiap sublapisan menjadikan tindanan dalam lebih mudah dan lebih stabil untuk dilatih
- Ia menghilangkan mekanisme perhatian
- Ia menggandakan kadar pembelajaran secara automatik
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling