Cuestionario vinculado a una guía · Medio Nivel

Prueba de disminución de peso y regularización de L2

Pruebe las penalizaciones de L2, la reducción hacia cero, la equivalencia de SGD, el desacoplamiento de AdamW, el escalamiento adaptativo y la fuerza de caída en el entrenamiento.

Rutas de guía relacionadasDecaimiento de peso y regularización L2
Pregunta 1 de 8

¿Qué agrega la regularización L2 a la función de pérdida?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué agrega la regularización L2 a la función de pérdida?
    • El número de capas en la red.
    • Una penalización en la tasa de aprendizaje.
    • El recuento de ejemplos de entrenamiento.
    • Una penalización proporcional a la suma de los pesos al cuadrado.
  2. ¿Cuál es el principal problema que la caída de peso ayuda a prevenir?
    • Carga de datos lenta
    • Sobreajuste, donde el modelo memoriza el ruido en los datos de entrenamiento.
    • Fallos de hardware
    • Etiquetas incorrectas
  3. ¿En qué dirección la caída del peso empuja los pesos del modelo?
    • Hacia el infinito
    • Hacia el mayor peso
    • Hacia cero
    • Hacia valores aleatorios
  4. ¿Por qué se presentó AdamW?
    • Para desacoplar la caída de peso de la actualización del gradiente adaptativo para que la caída se comporte correctamente
    • Para eliminar el degradado por completo
    • Para hacer el entrenamiento más lento a propósito
    • Para eliminar la necesidad de una tasa de aprendizaje
  5. Para el descenso de gradiente estocástico simple, ¿cómo se relacionan la regularización L2 y la caída de peso?
    • siempre son opuestos
    • Son matemáticamente equivalentes.
    • La caída de peso desactiva el gradiente.
    • L2 solo funciona para SGD con impulso
  6. ¿Qué controla el coeficiente lambda en la regularización L2?
    • El tamaño del lote
    • El número de épocas
    • La función de activación
    • La fuerza de la penalización sobre grandes pesos.
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size