シャープネスを意識した最小化クイズ

クイズに答えると、答えと解説が表示されます。

1. SAM はどのような最小値を見つけようとしますか?
   • 近傍の重み全体で損失が低く抑えられるフラットな最小値
   • 可能な限りシャープな最小値
   • 最も多くのパラメーターを含む最小値
   • 1 ステップで到達可能な最小値
2. 標準の SAM ステップには何回の前後パスが必要ですか?
   • 半分のパス
   • およそ2つ
   • まさに 1 つ
   • 10以上
3. SAM の半径ハイパーパラメータ rho は何を制御しますか?
   • 学習率の減衰速度
   • トレーニング エポックの数
   • 損失スパイクから保護される重みの周囲の近傍のサイズ
   • ドロップアウトの確率
4. 各反復における SAM の 2 つのステップの最初のものは何ですか?
   • モデルを縮小する
   • 過去のすべてのステップの重みを平均します。
   • オプティマイザの状態をリセットする
   • 最悪の場合の近くの点に向かって、サイズ rho の上昇ステップを踏みます
5. SAM がラベル ノイズに対する堅牢性を向上させることが多いのはなぜですか?
   • フラット最小値は破損したラベルを記憶する傾向が低いため
   • うるさいラベルを自動で削除してくれるので
   • より多くの語彙を使用するため、
   • バッチサイズが3倍になるため
6. SAM のコンピューティング コストを削減するために設計されたバリアントは次のうちどれですか?
   • ReLU
   • ESAM (効率的な SAM)
   • バッチノルム
   • アダグラード
7. In SAM’s second pass, which gradient is used to update the original model weights?
   • The gradient of a random label
   • The first pass gradient without evaluating the perturbed point
   • The gradient evaluated at the perturbed nearby weights
   • A gradient from a different model checkpoint
8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
   • The model parameters are all set to zero
   • The loss becomes independent of the weights
   • The optimizer takes an infinite step
   • There is no weight perturbation, so the neighborhood reduces to the current point