ガイド連動クイズ · 中 レベル
体重減少と L2 正則化に関するクイズ
トレーニングで L2 ペナルティ、ゼロへの縮小、SGD 等価性、AdamW デカップリング、適応スケーリング、および減衰強度をテストします。
質問 1 の 8
L2 正則化は損失関数に何を追加しますか?
すべての質問をプレビューする8 質問
クイズに答えると、答えと解説が表示されます。
- L2 正則化は損失関数に何を追加しますか?
- ネットワーク内の層の数
- 学習率に対するペナルティ
- トレーニング例の数
- 重みの二乗の合計に比例するペナルティ
- 体重減少が予防に役立つ主な問題は何ですか?
- データの読み込みが遅い
- 過学習。モデルがトレーニング データ内のノイズを記憶します。
- ハードウェア障害
- 間違ったラベル
- 重みの減衰はモデルの重みをどの方向に押しますか?
- 無限に向かって
- 最大重量を目指して
- ゼロに向かって
- ランダムな値に向けて
- AdamW が導入された理由は何ですか?
- 重みの減衰を適応勾配更新から切り離し、減衰が正しく動作するようにするため
- グラデーションを完全に削除するには
- トレーニングを意図的に遅くするため
- 学習率の必要性を排除するには
- 単純な確率的勾配降下法の場合、L2 正則化と重み減衰はどのように関係しますか?
- 彼らはいつも正反対だ
- それらは数学的に同等です
- ウェイト減衰によりグラデーションが無効になります
- L2 は勢いのある SGD に対してのみ機能します
- L2 正則化におけるラムダ係数は何を制御しますか?
- バッチサイズ
- エポック数
- 活性化関数
- 大きなウェイトに対するペナルティの強さ
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size