Cuestionario vinculado a una guía · duro Nivel

RMSNorm y cuestionario de normalización previa a la capa

Comprueba las estadísticas de RMSNorm, la ubicación previa a LN, las rutas residuales y la normalización de claves de consulta sin confundir estas opciones de diseño independientes.

Rutas de guía relacionadasRmsnorm y normalización previa a la capa
Pregunta 1 de 8

¿Qué omite RMSNorm en comparación con LayerNorm estándar?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué omite RMSNorm en comparación con LayerNorm estándar?
    • Resta media (recentrado)
    • El parámetro de escala aprendido
    • La conexión residual
    • La operación softmax
  2. ¿Por qué cantidad RMSNorm divide cada vector de activación?
    • Su varianza
    • Su raíz cuadrática media
    • Su valor absoluto máximo
    • Su norma L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. En un bloque Pre-LN, ¿qué ruta deja deliberadamente intacta la capa de normalización?
    • Los pesos de avance
    • Las incrustaciones de tokens
    • La salida softmax
    • La conexión residual (identidad)
  5. ¿Qué familias modernas de modelos de peso abierto utilizan RMSNorm de forma predeterminada?
    • LLaMA, Mistral y Qwen
    • AlexNet y VGG
    • ResNet e inicio
    • BERT-base y el transformador original
  6. ¿Qué es 'QK-norm', una aplicación reciente de RMSNorm?
    • Normalizando los logits de salida final
    • Aplicación de RMSNorm a consultas de atención y claves para controlar el crecimiento logit
    • Cuantizar la caché de valores clave
    • Una forma de saltarse la normalización por completo
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block