Kvíz spojený s průvodcem · Střední úroveň
Gradientní kvíz sestupu
Prohlédněte si prostý gradient-směr klesání, kroky rychlosti učení, vzorkované gradienty, hybnost, Adamovu adaptaci, numerické aktualizace a limity stacionárních bodů.
Otázka 1 z 8
In plain gradient descent, which direction is used relative to the objective's gradient?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- In plain gradient descent, which direction is used relative to the objective's gradient?
- The negative-gradient direction
- The positive-gradient direction
- An arbitrary perpendicular direction by definition
- A direction chosen without evaluating any gradient
- Co řídí rychlost učení?
- Počet vrstev v modelu
- Kolik tříd dokáže model předpovědět
- Velikost každého kroku provedeného během optimalizace
- Množství použitých tréninkových dat
- How does a mini-batch gradient relate to the full selected training-data objective?
- It uses no examples
- It is computed on the batch and used as an estimate of the full-data gradient
- It must equal the full-data gradient on every step
- It only exists for images
- Jaký problém může způsobit příliš velká rychlost učení?
- Trénink se stává extrémně pomalým, ale stabilním
- Model ignoruje gradient
- Datová sada se poškodí
- Model přestřeluje minimum a může se rozcházet
- What information does momentum carry into later gradient-descent updates?
- Only the model's vocabulary size
- A permanent deletion of all earlier gradients
- A running weighted combination of earlier gradients
- An unrelated random reset of every weight
- Jaká je klíčová vlastnost optimalizátoru Adam ve srovnání s prostým gradientem?
- Přizpůsobuje efektivní rychlost učení pro každý parametr
- Pro každý parametr používá jeden pevný krok
- Nevyžaduje přechody
- Trénuje pouze výstupní vrstvu
- For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
- Two-point-three
- One-point-nine-seven
- tři
- One-point-seven
- What does a zero gradient fail to prove for a nonconvex training objective?
- That the gradient value is zero at the evaluated point
- That the current point is a global minimum
- That the objective has been evaluated locally
- That a stationary-point condition holds