ネステロフ加速勾配クイズ

クイズに答えると、答えと解説が表示されます。

1. 古典的な運動量と比較したネステロフ加速勾配の決定的なアイデアは何ですか?
   • 勢いを完全に排除します
   • 固定学習率 1.0 を使用します。
   • 現在位置ではなく、先読み点での勾配を評価します。
   • ミニバッチなしでのみ機能します
2. ネステロフの方法は滑らかな凸問題に対してどの程度の証明可能な収束率を達成しますか?
   • 次数 1/k^2
   • オーダー1/k
   • オーダー 1/log k
   • レート保証なし
3. この加速勾配法を最初に導入したのは誰ですか?
   • ジェフリー・ヒントン、2012年
   • アイザック・ニュートン
   • ジョン・フォン・ノイマン
   • ユーリイ・ネステロフ、1983年
4. 先読み勾配が曲線最小値付近で役立つのはなぜですか?
   • 学習率が上がります
   • オーバーシュートを予測し、発生する前に補正を適用します
   • 速度項を削除します
   • ステップの方向をランダム化します
5. 実際に、ネステロフ運動量の計算コストは古典的な運動量とどのように比較されるのでしょうか?
   • 代数的に再配置されたアップデートのおかげで、ほぼ同じです
   • 約10倍高い
   • ステップごとに二次導関数が必要です
   • GPU では計算できません
6. Nesterov 先読みと Adam スタイルのスケーリングを組み合わせた適応オプティマイザーはどれですか?
   • RMSプロップ
   • アダグラド
   • ナダム
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position