Kuiz berkaitan panduan · Keras Tahap

RMSNorm dan Kuiz Normalisasi Pra-Lapisan

Menyemak statistik RMSNorm, penempatan Pra-LN, laluan baki dan normalisasi kunci pertanyaan tanpa mengelirukan pilihan reka bentuk bebas ini.

Laluan panduan yang berkaitanRmsnorm Dan Normalisasi Pra Lapisan
soalan 1 daripada 8

Apakah yang RMSNorm tinggalkan berbanding dengan LayerNorm standard?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang RMSNorm tinggalkan berbanding dengan LayerNorm standard?
    • Min tolak (pemusatan semula)
    • Parameter skala yang dipelajari
    • Sambungan sisa
    • Operasi softmax
  2. Dengan kuantiti berapakah RMSNorm membahagikan setiap vektor pengaktifan?
    • Variansnya
    • Puncanya bermakna segi empat sama
    • Nilai mutlak maksimumnya
    • Norma L1nya
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Dalam blok Pra-LN, laluan apakah yang sengaja dibiarkan tanpa disentuh oleh lapisan normalisasi?
    • Berat suapan hadapan
    • Embeddings token
    • Output softmax
    • Sambungan baki (identiti).
  5. Keluarga model berat terbuka moden manakah yang menggunakan RMSNorm secara lalai?
    • LLaMA, Mistral dan Qwen
    • AlexNet dan VGG
    • ResNet dan Inception
    • Pangkalan BERT dan Transformer asal
  6. Apakah 'QK-norm', aplikasi terbaru RMSNorm?
    • Menormalkan log keluaran akhir
    • Menggunakan RMSNorm pada pertanyaan perhatian dan kunci untuk mengawal pertumbuhan logit
    • Mengkuantiti cache nilai kunci
    • Satu cara untuk melangkau normalisasi sepenuhnya
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block