Prueba de promedio de peso estocástico

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el promedio real del promedio de peso estocástico?
   • Los pesos del modelo muestreados en múltiples puntos al final del entrenamiento.
   • Las predicciones de varios modelos entrenados por separado.
   • Los gradientes calculados en todos los minilotes
   • Las tasas de aprendizaje utilizadas durante cada época.
2. ¿Por qué SWA tiende a mejorar la generalización?
   • Memoriza el conjunto de entrenamiento con mayor precisión.
   • Encuentra mínimos más anchos y planos que son más sólidos en datos invisibles
   • Aumenta el número de parámetros en el modelo.
   • Elimina la necesidad de un conjunto de validación.
3. ¿Qué paso adicional requiere SWA para las redes que utilizan la normalización por lotes?
   • Reentrenar la red desde cero
   • Duplicar el tamaño del lote
   • Un pase hacia adelante adicional para volver a calcular las estadísticas de ejecución de BN
   • Eliminar todas las capas abandonadas
4. ¿Qué comportamiento de tasa de aprendizaje se utiliza normalmente durante la fase de promedio SWA?
   • Una tasa de aprendizaje cayó exactamente a cero
   • Una tasa de aprendizaje de uno para la estabilidad.
   • Ninguna tasa de aprendizaje ya que la formación está congelada
   • Una tasa de aprendizaje constante o cíclica y relativamente alta.
5. ¿Cómo se compara el costo de inferencia de SWA con un conjunto tradicional de N modelos?
   • Cuesta aproximadamente un solo modelo, ya que el resultado es un conjunto de pesas.
   • Es N veces más caro
   • Es idéntico a ejecutar modelos N.
   • No se puede utilizar para inferencias.
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress