Quiz lié à un guide · Moyen Niveau

Quiz sur la descente de dégradé

Examinez la direction de descente du gradient, les étapes du taux d'apprentissage, les gradients échantillonnés, l'élan, l'adaptation d'Adam, les mises à jour numériques et les limites de points stationnaires.

Chemins de guidage associésDescente de dégradé
Question 1 de 8

In plain gradient descent, which direction is used relative to the objective's gradient?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. In plain gradient descent, which direction is used relative to the objective's gradient?
    • The negative-gradient direction
    • The positive-gradient direction
    • An arbitrary perpendicular direction by definition
    • A direction chosen without evaluating any gradient
  2. Que contrôle le taux d’apprentissage ?
    • Le nombre de couches dans le modèle
    • Combien de classes le modèle peut prédire
    • La taille de chaque étape franchie lors de l’optimisation
    • La quantité de données d'entraînement utilisées
  3. How does a mini-batch gradient relate to the full selected training-data objective?
    • It uses no examples
    • It is computed on the batch and used as an estimate of the full-data gradient
    • It must equal the full-data gradient on every step
    • It only exists for images
  4. Quel problème un taux d’apprentissage trop élevé peut-il causer ?
    • L'entraînement devient extrêmement lent mais stable
    • Le modèle ignore le dégradé
    • L'ensemble de données est corrompu
    • Le modèle dépasse le minimum et peut diverger
  5. What information does momentum carry into later gradient-descent updates?
    • Only the model's vocabulary size
    • A permanent deletion of all earlier gradients
    • A running weighted combination of earlier gradients
    • An unrelated random reset of every weight
  6. Quelle est la caractéristique clé de l'optimiseur Adam par rapport à la descente à gradient simple ?
    • Il adapte le taux d'apprentissage effectif pour chaque paramètre
    • Il utilise une seule étape fixe pour chaque paramètre
    • Il ne nécessite pas de dégradés
    • Il entraîne uniquement la couche de sortie
  7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
    • Two-point-three
    • One-point-nine-seven
    • Trois
    • One-point-seven
  8. What does a zero gradient fail to prove for a nonconvex training objective?
    • That the gradient value is zero at the evaluated point
    • That the current point is a global minimum
    • That the objective has been evaluated locally
    • That a stationary-point condition holds