Kuis terkait panduan · Keras Tingkat

RMSNorm dan Kuis Normalisasi Pra-Lapisan

Memeriksa statistik RMSNorm, penempatan Pra-LN, jalur sisa, dan normalisasi kunci kueri tanpa membingungkan pilihan desain independen ini.

Jalur panduan terkaitRmsnorm Dan Normalisasi Pra Lapisan
Pertanyaan 1 dari 8

Apa yang dihilangkan RMSNorm dibandingkan dengan LayerNorm standar?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang dihilangkan RMSNorm dibandingkan dengan LayerNorm standar?
    • Pengurangan rata-rata (pemusatan kembali)
    • Parameter skala yang dipelajari
    • Koneksi sisa
    • Operasi softmax
  2. Berapa kuantitas RMSNorm membagi setiap vektor aktivasi?
    • Variansnya
    • Akarnya berarti persegi
    • Nilai absolut maksimumnya
    • Norma L1-nya
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Dalam blok Pra-LN, jalur apa yang sengaja tidak disentuh oleh lapisan normalisasi?
    • Bobot umpan maju
    • Penyematan token
    • Outputnya softmax
    • Koneksi sisa (identitas).
  5. Kelompok model bobot terbuka modern manakah yang menggunakan RMSNorm secara default?
    • LLaMA, Mistral, dan Qwen
    • AlexNet dan VGG
    • ResNet dan Awal
    • Basis BERT dan Transformer asli
  6. Apa itu 'QK-norm', aplikasi terbaru dari RMSNorm?
    • Menormalkan log keluaran akhir
    • Menerapkan RMSNorm ke kueri perhatian dan kunci untuk mengontrol pertumbuhan logit
    • Mengkuantisasi cache nilai kunci
    • Sebuah cara untuk melewati normalisasi sepenuhnya
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block