Cuestionario vinculado a una guía · Medio Nivel
Prueba de Adam y los optimizadores adaptativos
Comprueba los momentos de gradiente de Adam, la corrección de sesgo, el escalado adaptativo, épsilon y la actualización de caída de peso desacoplada de AdamW. en la actualización de parámetros estándar.
Pregunta 1 de 8
¿Qué dos cantidades rastrea Adam para cada parámetro?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Qué dos cantidades rastrea Adam para cada parámetro?
- El promedio móvil de gradientes y de gradientes al cuadrado.
- El gradiente máximo y mínimo jamás visto
- La tasa de aprendizaje y el tamaño del lote.
- El valor del peso y su signo.
- ¿Por qué Adam aplica corrección de sesgo a sus estimaciones de momento?
- Porque los gradientes siempre son negativos al principio del entrenamiento.
- Porque los promedios móviles comienzan en cero y están sesgados hacia cero inicialmente
- Para aumentar la tasa de aprendizaje con el tiempo
- Para eliminar puntos de datos atípicos del lote
- ¿Cuál es la principal diferencia entre Adam y AdamW?
- AdamW no utiliza ningún impulso
- AdamW elimina la estimación del segundo momento
- AdamW desacopla la caída de peso de la actualización basada en gradiente
- AdamW solo funciona en redes convolucionales
- ¿Qué papel juega el término épsilon pequeño en la regla de actualización de Adam?
- Establece la fuerza del impulso.
- Controla el número de épocas de entrenamiento.
- Aumenta la magnitud del gradiente.
- Previene la división por cero y estabiliza la actualización.
- ¿Por qué a menudo se describe a Adán como "adaptativo"?
- De manera efectiva, le da a cada parámetro su propio tamaño de paso escalado.
- Cambia la arquitectura de la red durante el entrenamiento.
- Adapta el conjunto de datos al modelo.
- Cambia entre clasificación y regresión automáticamente.
- ¿Qué parámetro de Adam controla la tasa de caída exponencial de su estimación de gradiente cuadrado?
- Beta1
- Beta2
- Épsilon
- El coeficiente de caída de peso.
- Un parámetro recibe repetidamente grandes gradientes. ¿Qué cantidad de Adam ayuda a reducir su paso efectivo?
- El número de capas del modelo.
- La media de normalización por lotes
- La estimación del segundo momento de gradientes al cuadrado.
- El término de disminución de peso de AdamW por sí solo
- ¿Qué sucede cuando beta2 se establece más cerca de uno, todo lo demás es igual?
- El optimizador deja de usar gradientes.
- Se elimina la estimación del primer momento.
- La caída de peso se desacopla automáticamente
- La estimación del gradiente cuadrado decae más lentamente y conserva una historia más larga