Rehber bağlantılı sınav · Sert Seviye

RMSNorm ve Katman Öncesi Normalleştirme Testi

Bu bağımsız tasarım seçeneklerini karıştırmadan RMSNorm istatistiklerini, LN öncesi yerleşimi, kalan yolları ve sorgu anahtarı normalizasyonunu kontrol eder.

İlgili kılavuz yollarıRmsnorm ve Ön Katman Normalleştirme
Soru 1 arasında 8

RMSNorm, standart LayerNorm'a kıyasla neyi atlıyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. RMSNorm, standart LayerNorm'a kıyasla neyi atlıyor?
    • Ortalama çıkarma (yeniden merkezleme)
    • Öğrenilen ölçek parametresi
    • Artık bağlantı
    • Softmax işlemi
  2. RMSNorm her aktivasyon vektörünü hangi miktara böler?
    • Varyansı
    • Kökünün ortalama karesi
    • Maksimum mutlak değeri
    • L1 normu
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. LN Öncesi blokta, normalleştirme katmanı hangi yola bilinçli olarak dokunulmadan bırakılır?
    • İleri besleme ağırlıkları
    • Jeton yerleştirmeleri
    • Çıkış softmax'ı
    • Artık (kimlik) bağlantısı
  5. Hangi modern açık ağırlıklı model aileleri varsayılan olarak RMSNorm'u kullanıyor?
    • LLaMA, Mistral ve Qwen
    • AlexNet ve VGG
    • ResNet ve Başlangıç
    • BERT tabanı ve orijinal Transformer
  6. RMSNorm'un yeni bir uygulaması olan 'QK-norm' nedir?
    • Nihai çıktı logitlerinin normalleştirilmesi
    • Logit büyümesini kontrol etmek için dikkat sorgularına ve anahtarlara RMSNorm'u uygulama
    • Anahtar/değer önbelleğinin miktarının belirlenmesi
    • Normalleşmeyi tamamen atlamanın bir yolu
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block