Cuestionario vinculado a una guía · Medio Nivel

Prueba de inicialización de peso

Comprueba la ruptura de simetría, el escalado de entrada y salida, la inicialización de Xavier y He, la compensación ReLU y el sesgo cero. en modelos profundos.

Rutas de guía relacionadasInicialización de peso
Pregunta 1 de 8

¿Por qué inicializar todos los pesos a cero es un error fatal?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Por qué inicializar todos los pesos a cero es un error fatal?
    • Todas las neuronas reciben gradientes idénticos y nunca se diferencian (la simetría no se rompe)
    • Hace que el entrenamiento sea demasiado rápido.
    • Hace que la pérdida se vuelva negativa.
    • Usa demasiada memoria
  2. ¿Para qué función de activación está diseñada específicamente la inicialización de él (Kaiming)?
    • sigmoideo
    • ReLU
    • tanh
    • softmax
  3. ¿Cuál es el objetivo principal de los esquemas de inicialización de peso basados en principios?
    • Para hacer todos los pesos iguales
    • Para establecer cada peso en uno
    • Para mantener la variación de activaciones y gradientes aproximadamente constante entre capas
    • Para eliminar la necesidad de datos
  4. ¿La inicialización de Xavier (Glorot) es más adecuada para redes que utilizan qué activaciones?
    • ReLU y sus variantes
    • Sólo activaciones lineales
    • Ninguna activación en absoluto
    • Tanh y sigmoideo
  5. ¿Por qué la inicialización de He utiliza una variación de 2/fan_in en lugar de 1/fan_in?
    • Para compensar que ReLU establezca aproximadamente la mitad de sus entradas en cero
    • Hacer pesas más grandes sin motivo
    • Para reducir el número de parámetros.
    • Para que coincida con el tamaño del lote
  6. ¿Cómo se inicializan normalmente los sesgos cuando los pesos se inicializan aleatoriamente?
    • A valores positivos muy grandes.
    • A cero, ya que la simetría ya está rota por los pesos aleatorios.
    • Al mismo valor que la tasa de aprendizaje.
    • A valores aleatorios mayores que los pesos.
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32