Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Normalisasi Lapisan

Menyemak statistik LayerNorm dan parameter afin, tingkah laku saiz kelompok, epsilon, RMSNorm dan penempatan pra-norma. dalam rangkaian yang mendalam.

Laluan panduan yang berkaitanNormalisasi Lapisan
soalan 1 daripada 8

Merentasi apakah normalisasi lapisan mengira min dan variansnya?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Merentasi apakah normalisasi lapisan mengira min dan variansnya?
    • Merentasi ciri satu contoh
    • Merentasi semua contoh dalam kumpulan mini
    • Merentasi semua pemberat dalam rangkaian
    • Merentasi pelbagai zaman latihan
  2. Mengapakah penormalan lapisan diutamakan berbanding penormalan kelompok dalam transformer?
    • Ia memerlukan saiz kumpulan yang sangat besar
    • Ia bebas daripada saiz kelompok dan mengendalikan urutan panjang berubah-ubah
    • Ia menghapuskan keperluan untuk sebarang parameter yang boleh dipelajari
    • Ia hanya berfungsi semasa inferens
  3. Apakah yang boleh dipelajari oleh parameter gamma dan beta yang dibenarkan oleh LayerNorm?
    • Pilih kadar pembelajaran
    • Tetapkan bilangan lapisan
    • Skala semula dan alihkan output yang dinormalkan supaya rangkaian dapat memulihkan perwakilan yang berguna
    • Keluarkan keperluan untuk fungsi pengaktifan
  4. Bagaimanakah RMSNorm berbeza daripada LayerNorm standard?
    • Sebaliknya, ia menjadi normal merentasi kumpulan
    • Ia tidak menggunakan parameter dan tiada pembahagian
    • Ia hanya berfungsi pada imej
    • Ia melangkau min penolakan dan membahagi hanya dengan punca-min-petak dua
  5. Apakah masalah yang biasanya dibantu oleh normalisasi lapisan dalam rangkaian dalam?
    • Pengaktifan melayang ke skala yang sangat berbeza, yang menjejaskan kestabilan latihan
    • Kehabisan ruang cakera
    • Memilih set data yang betul
    • Menyulitkan berat model
  6. Mengapakah peletakan 'pra-norma' sering digunakan dalam transformer yang sangat dalam?
    • Ia menjadikan model lebih kecil
    • Menormalkan sebelum setiap sublapisan menjadikan tindanan dalam lebih mudah dan lebih stabil untuk dilatih
    • Ia menghilangkan mekanisme perhatian
    • Ia menggandakan kadar pembelajaran secara automatik
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling