Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zum Gradientenabstieg

Überprüfen Sie die einfache Gradientenabstiegsrichtung, Lernratenschritte, abgetastete Gradienten, Impuls, Adam-Anpassung, numerische Aktualisierungen und stationäre Punktgrenzen.

Verwandte FührungspfadeGefälleabstieg
Frage 1 von 8

In plain gradient descent, which direction is used relative to the objective's gradient?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. In plain gradient descent, which direction is used relative to the objective's gradient?
    • The negative-gradient direction
    • The positive-gradient direction
    • An arbitrary perpendicular direction by definition
    • A direction chosen without evaluating any gradient
  2. Was steuert die Lernrate?
    • Die Anzahl der Schichten im Modell
    • Wie viele Klassen das Modell vorhersagen kann
    • Die Größe jedes Schritts, der während der Optimierung ausgeführt wird
    • Die Menge der verwendeten Trainingsdaten
  3. How does a mini-batch gradient relate to the full selected training-data objective?
    • It uses no examples
    • It is computed on the batch and used as an estimate of the full-data gradient
    • It must equal the full-data gradient on every step
    • It only exists for images
  4. Welches Problem kann eine zu große Lernrate verursachen?
    • Das Training wird extrem langsam, aber stabil
    • Das Modell ignoriert den Gradienten
    • Der Datensatz wird beschädigt
    • Das Modell überschreitet das Minimum und kann abweichen
  5. What information does momentum carry into later gradient-descent updates?
    • Only the model's vocabulary size
    • A permanent deletion of all earlier gradients
    • A running weighted combination of earlier gradients
    • An unrelated random reset of every weight
  6. Was ist das Hauptmerkmal des Adam-Optimierers im Vergleich zum einfachen Gradientenabstieg?
    • Es passt die effektive Lernrate für jeden Parameter an
    • Für jeden Parameter wird ein einzelner fester Schritt verwendet
    • Es sind keine Steigungen erforderlich
    • Es trainiert nur die Ausgabeschicht
  7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
    • Two-point-three
    • One-point-nine-seven
    • Drei
    • One-point-seven
  8. What does a zero gradient fail to prove for a nonconvex training objective?
    • That the gradient value is zero at the evaluated point
    • That the current point is a global minimum
    • That the objective has been evaluated locally
    • That a stationary-point condition holds