Cuestionario vinculado a una guía · Medio Nivel

Prueba de recorte de degradado

Comprueba el recorte de normas y valores, la preservación de la dirección, el control del gradiente de explosión y el recorte por ejemplo en un entrenamiento diferencialmente privado.

Rutas de guía relacionadasRecorte de degradado
Pregunta 1 de 8

¿Qué conserva principalmente el recorte de gradiente de clip por norma al tiempo que limita la actualización?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué conserva principalmente el recorte de gradiente de clip por norma al tiempo que limita la actualización?
    • La dirección de la actualización general del gradiente.
    • La magnitud exacta de cada gradiente.
    • El número de parámetros del modelo.
    • El calendario de tasas de aprendizaje.
  2. En clip-by-norm con umbral c, ¿qué sucede cuando la norma de gradiente g_norm excede c?
    • Los gradientes se establecen en cero
    • Cada gradiente se multiplica por c/g_norm
    • Paradas de entrenamiento
    • La tasa de aprendizaje se duplica.
  3. ¿Qué problema está diseñado específicamente para combatir el recorte de gradiente?
    • Degradados que desaparecen
    • Carga de datos lenta
    • gradientes explosivos
    • Sobreajuste al conjunto de validación
  4. ¿En qué se diferencia el clip por valor del clip por norma?
    • Siempre conserva la dirección de actualización.
    • Solo funciona en capas convolucionales.
    • Elimina los gradientes por completo.
    • Sujeta cada componente de gradiente de forma independiente en un rango, que puede cambiar la dirección
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. En la formación diferencialmente privada (DP-SGD), ¿qué papel juega el recorte de gradiente por ejemplo?
    • Cifra los datos
    • Limita la influencia de cada ejemplo para que el ruido calibrado pueda garantizar la privacidad.
    • Aumenta el tamaño del lote.
    • Elimina la necesidad de una función de pérdida.
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • dos
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update