Prueba de normalización de lotes

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué normaliza la normalización por lotes?
   • Las entradas a una capa, en los ejemplos del mini lote actual
   • Las etiquetas de salida finales de la red.
   • El cronograma de tasa de aprendizaje a lo largo del tiempo.
   • El tamaño del conjunto de datos de entrenamiento.
2. ¿Por qué la normalización por lotes incluye parámetros que se pueden aprender gamma y beta?
   • Para aumentar el tamaño del conjunto de datos
   • Permitir que la red escale y cambie los valores normalizados, preservando el poder de representación.
   • Dejar caer neuronas aleatoriamente durante el entrenamiento.
   • Para calcular la función de pérdida
3. ¿Cuál es un beneficio práctico comúnmente citado de la normalización por lotes?
   • Elimina la necesidad de datos de entrenamiento.
   • Garantiza que el modelo no pueda sobreajustarse
   • Permite mayores tasas de aprendizaje y una convergencia más rápida y estable.
   • Elimina la necesidad de una función de activación.
4. En el momento de la inferencia (predicción sobre nuevos datos), ¿qué estadísticas utiliza la normalización por lotes?
   • La media y la varianza de la entrada única actual únicamente
   • Estadísticas generadas aleatoriamente cada vez
   • Las estadísticas del conjunto de prueba calculadas de antemano.
   • Promedios móviles de media y varianza acumulados durante el entrenamiento.
5. ¿Por qué la normalización de lotes puede comportarse mal con lotes de tamaño muy pequeño?
   • Las estadísticas por lotes se convierten en estimaciones ruidosas y poco fiables de la distribución real.
   • Los lotes pequeños hacen que el modelo sea demasiado grande para caber en la memoria.
   • Desactiva las funciones de activación.
   • Los lotes pequeños obligan al uso de la regularización L1
6. ¿Qué técnica de normalización se utiliza más comúnmente en arquitecturas de transformadores como alternativa a la normalización por lotes?
   • Normalización de la deserción
   • Normalización de capas
   • Normalización L2 de la pérdida.
   • Recorte de degradado
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function