二次最適化とニュートン法に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. ニュートン法では、単純勾配降下法では使用されないどのような情報が使用されますか?
   • 曲率、ヘッセ行列の二次導関数による
   • 大域最小値の正確な位置
   • 学習率スケジュール
   • トレーニング例の数
2. 完全な二次関数の目的では、ニュートン法が最小値に達するまでに何ステップ必要ですか?
   • ちょうど10歩
   • 一歩
   • 勾配降下法と同じ数
   • 決して収束しない
3. 完全なニュートン法が 10 億パラメータのニューラル ネットワークでは非実用的であるのはなぜですか?
   • 勾配を計算できません
   • ニューラル ネットワークでは二次導関数は常にゼロです
   • ヘッセ行列は N 行 N 列であり、逆変換には約 N 2 乗のメモリと N 3 乗の計算コストがかかります。
   • 画像に対してのみ機能します
4. BFGS のような準ニュートン法はヘッセ行列のコストを回避するために何をしますか?
   • 勾配を完全に無視します
   • 彼らは曲率をランダムに推測します
   • 彼らは問題を線形問題に変換します
   • 連続する勾配の差から逆ヘシアンの近似を構築します。
5. L-BFGS は BFGS と比べてどのようにメモリを削減しますか?
   • 行列全体ではなく、最後のいくつかの勾配ベクトルとステップ ベクトルのみを保存します。
   • 単精度浮動小数点のみを使用します
   • 各ステップの後にグラデーションを破棄します
   • より少ないパラメータでトレーニングします
6. 大規模なニューラル ネットワークのトレーニングを高速化するために曲率を近似する最新のアプローチはどれですか?
   • ワンホットエンコーディング
   • K-FAC やシャンプーなどのクロネッカー因数分解法
   • 変更を加えない単純な確率的勾配降下法
   • ドロップアウト
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes