Cuestionario vinculado a una guía · Medio Nivel

Prueba de descenso de gradiente

Revise la dirección simple del descenso del gradiente, los pasos de la tasa de aprendizaje, los gradientes muestreados, el impulso, la adaptación de Adam, las actualizaciones numéricas y los límites de los puntos estacionarios.

Rutas de guía relacionadasDescenso de gradiente
Pregunta 1 de 8

In plain gradient descent, which direction is used relative to the objective's gradient?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. In plain gradient descent, which direction is used relative to the objective's gradient?
    • The negative-gradient direction
    • The positive-gradient direction
    • An arbitrary perpendicular direction by definition
    • A direction chosen without evaluating any gradient
  2. ¿Qué controla la tasa de aprendizaje?
    • El número de capas en el modelo.
    • ¿Cuántas clases puede predecir el modelo?
    • El tamaño de cada paso dado durante la optimización.
    • La cantidad de datos de entrenamiento utilizados.
  3. How does a mini-batch gradient relate to the full selected training-data objective?
    • It uses no examples
    • It is computed on the batch and used as an estimate of the full-data gradient
    • It must equal the full-data gradient on every step
    • It only exists for images
  4. ¿Qué problema puede causar una tasa de aprendizaje demasiado alta?
    • El entrenamiento se vuelve extremadamente lento pero estable.
    • El modelo ignora el gradiente.
    • El conjunto de datos se corrompe
    • El modelo sobrepasa el mínimo y puede divergir.
  5. What information does momentum carry into later gradient-descent updates?
    • Only the model's vocabulary size
    • A permanent deletion of all earlier gradients
    • A running weighted combination of earlier gradients
    • An unrelated random reset of every weight
  6. ¿Cuál es una característica clave del optimizador Adam en comparación con el descenso de gradiente simple?
    • Adapta la tasa de aprendizaje efectiva para cada parámetro.
    • Utiliza un único paso fijo para cada parámetro.
    • No requiere gradientes
    • Solo entrena la capa de salida.
  7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
    • Two-point-three
    • One-point-nine-seven
    • tres
    • One-point-seven
  8. What does a zero gradient fail to prove for a nonconvex training objective?
    • That the gradient value is zero at the evaluated point
    • That the current point is a global minimum
    • That the objective has been evaluated locally
    • That a stationary-point condition holds