Prueba de normalización de capas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿A través de qué calcula la normalización de capas su media y varianza?
   • A través de las características de un solo ejemplo
   • En todos los ejemplos del mini lote
   • En todos los pesos de la red.
   • A través de múltiples épocas de entrenamiento
2. ¿Por qué se prefiere la normalización de capas a la normalización por lotes en los transformadores?
   • Requiere un tamaño de lote muy grande
   • Es independiente del tamaño del lote y maneja secuencias de longitud variable.
   • Elimina la necesidad de parámetros que se puedan aprender
   • Sólo funciona durante la inferencia.
3. ¿Qué permiten hacer los parámetros de aprendizaje gamma y beta a LayerNorm?
   • Elige la tasa de aprendizaje
   • Establecer el número de capas
   • Cambie la escala y cambie la salida normalizada para que la red pueda recuperar representaciones útiles
   • Elimina la necesidad de una función de activación
4. ¿En qué se diferencia RMSNorm del LayerNorm estándar?
   • En su lugar, se normaliza en todo el lote.
   • No utiliza parámetros ni división.
   • Sólo funciona en imágenes.
   • Omite la resta media y divide solo por la raíz cuadrática media
5. ¿Qué problema ayuda principalmente a resolver la normalización de capas en redes profundas?
   • Activaciones que derivan a escalas muy diferentes, lo que desestabiliza el entrenamiento.
   • Quedarse sin espacio en disco
   • Elegir el conjunto de datos correcto
   • Cifrar los pesos del modelo
6. ¿Por qué se utiliza a menudo la colocación "prenorma" en transformadores muy profundos?
   • Hace el modelo más pequeño
   • La normalización antes de cada subcapa hace que entrenar pilas profundas sea más fácil y estable
   • Elimina el mecanismo de atención.
   • Duplica la tasa de aprendizaje automáticamente.
7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
   • To make the batch size larger
   • To replace the learnable scale
   • To avoid division by zero and improve numerical stability
   • To compute the sequence length
8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
   • It restores the original unnormalized inputs exactly
   • It applies a softmax over features
   • It changes the statistics to be batch-dependent
   • It leaves the normalized values unchanged after the mean-and-variance scaling