Adam と Adaptive Optimizer のクイズ

クイズに答えると、答えと解説が表示されます。

1. Adam が各パラメータについて追跡する 2 つの量はどれですか?
   • 勾配と二乗勾配の移動平均
   • これまでに見た最大と最小の勾配
   • 学習率とバッチサイズ
   • 重量値とその符号
2. Adam がモーメント推定値にバイアス補正を適用するのはなぜですか?
   • トレーニングの初期段階では勾配は常に負であるため
   • 移動平均はゼロから始まり、最初はゼロに向かって偏っているためです。
   • 時間の経過とともに学習率を大きくするには
   • バッチから外れ値のデータポイントを削除するには
3. Adam と AdamW の主な違いは何ですか?
   • AdamWは勢いを全く使わない
   • AdamW は 2 番目のモーメント推定を削除します
   • AdamW は重み減衰を勾配ベースの更新から切り離します
   • AdamW は畳み込みネットワークでのみ動作します
4. アダムの更新ルールでは、小さなイプシロン項はどのような役割を果たしますか?
   • 勢いの強さを設定します
   • トレーニング エポックの数を制御します
   • 勾配の大きさが大きくなります
   • ゼロ除算を防ぎ、更新を安定させます。
5. アダムがよく「適応力がある」と言われるのはなぜですか?
   • 各パラメータに独自のスケーリングされたステップ サイズを効果的に与えます。
   • トレーニング中にネットワーク アーキテクチャを変更します
   • データセットをモデルに適応させます
   • 分類と回帰を自動的に切り替えます
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history