Prueba de gradientes que desaparecen y explotan

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué operación matemática en la retropropagación es la causa fundamental de la desaparición y explosión de los gradientes?
   • Multiplicar repetidamente factores por capa mediante la regla de la cadena
   • Agregar degradados en una sola capa
   • Dividir la pérdida por el tamaño del lote
   • Sacando la raíz cuadrada de los pesos.
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. ¿Qué arquitectura se ve MÁS afectada por los problemas de gradiente en secuencias largas?
   • Un perceptrón de dos capas
   • Una regresión lineal única
   • Una red neuronal recurrente desarrollada a lo largo de muchos pasos de tiempo
   • una tabla de consulta
4. Ver que la pérdida de entrenamiento de repente se convierte en NaN probablemente indica ¿qué problema?
   • Degradados que desaparecen
   • Convergencia perfecta
   • Una tasa de aprendizaje demasiado pequeña
   • gradientes explosivos
5. ¿Cómo ayudan las conexiones residuales (de omisión) con los gradientes que desaparecen?
   • Le dan al gradiente un atajo directo hacia atrás, evitando las multiplicaciones cada vez más reducidas.
   • Eliminan todas las no linealidades.
   • Aumentan la tasa de aprendizaje automáticamente.
   • Eliminan las primeras capas
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect