正則化
正則化は、モデルを意図的に制約し、トレーニング セットを記憶する代わりに新しいデータに一般化する一連の手法です。
概要
It is the main toolkit for fighting overfitting.
ディープダイブ
チェックを行わないままにしておくと、柔軟なモデルは、ノイズを含むトレーニング データ内のすべてのポイントに適合するように自らをねじってしまいます。正則化は、より単純な解決策を優先するペナルティまたは制約を追加することによって反発します。最も一般的な形式は、モデルの重みのサイズに基づいて損失関数に項を追加します。 L2 正則化 (重み減衰) は、大きな重みにスムーズにペナルティを与え、重みをゼロに向かって縮小し、より滑らかなモデルを生成します。 L1 正則化は重みの絶対値にペナルティを課し、一部をゼロまで駆動して、効果的に特徴のサブセットを選択することができます。ウェイトペナルティを超えて、ドロップアウトはトレーニング中にニューロンをランダムにオフにし、早期停止によりオーバーフィッティングが始まる前にトレーニングを停止し、データ拡張により効果的なトレーニングセットを拡張します。それぞれは、トレーニングの精度を少し犠牲にして、現実世界のパフォーマンスを大幅に向上させます。
技術的な洞察
ほとんどの正則化は、オプティマイザーが最小化する目的を再形成します。予測誤差を単に最小化するのではなく、誤差とラムダに重みのペナルティを掛けて、ラムダが強度を制御することを最小化します。 L2 は重みの 2 乗の合計を加算し、多くの小さな重みを奨励します。 L1 は絶対重みの合計を追加し、正確なゼロによるスパース性を促進します。ドロップアウトの動作は異なります。ステップごとにアクティベーションをランダムにゼロにすることで、ニューロンの同時適応を防ぎ、サブネットワークのアンサンブルのトレーニングに近似します。これらすべてにより、バイアスがわずかに増加しますが、分散は減少します。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
正則化の未来
L2 やドロップアウトなどの明示的なペナルティは依然として標準ですが、注目は暗黙的な正則化に移ってきています。これは、確率的勾配降下法などのオプティマイザが、追加のペナルティがなくても、一般化可能な解に向けて巨大なモデルを静かにバイアスする方法です。ラベルのスムージング、ミックスアップ、強力なデータ拡張などの手法が、大規模なビジョンおよび言語モデルのトレーニングにおいてますます中心的になってきています。過剰パラメータ化されたネットワークが過学習に抵抗する理由と、手動検索に依存せずにトレーニング中に正則化の強度を自動的に調整する適応手法についてのさらなる研究が期待されます。
現実世界の実装
L2 重み減衰を深層画像分類器に追加して、数千枚のトレーニング写真からまだ見たことのない写真までを一般化します。
ゲノミクス モデルで L1 正則化を使用して、数千の遺伝子の中から実際に結果を予測する少数の遺伝子を自動的に選択します。
単一のユーザー信号に過度に依存しないように、推奨ネットワークにドロップアウトを適用します。
トレーニング損失が低下し続ける可能性がある場合でも、検証損失の改善が止まったらトレーニングを早期に停止します。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
正則化が役立つ部分と、より単純な方法の方が優れている部分を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
体重減少と L2 正則化
よくある質問
What is Regularization?
正則化は、モデルを意図的に制約し、トレーニング セットを記憶する代わりに新しいデータに一般化する一連の手法です。これは、過剰適合と戦うための主要なツールキットです。
正則化の主な目的は何ですか?
正則化は、トレーニング データの暗記を妨げるためにモデルを意図的に制約し、未見の例でのパフォーマンスを向上させます。
いくつかの重みを正確にゼロに駆動し、効果的に特徴を選択する可能性が最も高い正則化手法はどれですか?
L1 は重みの絶対値にペナルティを課し、有用性の低い重みを正確にゼロに押し上げる傾向があり、自動特徴選択が実行されます。 L2 は重みをスムーズに縮小しますが、正確にゼロになることはほとんどありません。
ドロップアウトはトレーニング中にどのようにしてニューラル ネットワークを正規化するのでしょうか?
ドロップアウトは、トレーニング ステップごとに活性化の一部をランダムにゼロにし、ニューロンが互いに依存しすぎてサブネットワークのアンサンブルに近似するのを防ぎます。
正規化された損失「エラー + ラムダ × ペナルティ」では、ラムダを増やすとどうなるでしょうか?
Lambda は正則化の強度を制御します。ラムダが大きくなると、ペナルティの影響が大きくなり、より単純なモデルに向けて重みがより積極的に縮小されます。
早期停止が正規化の一形態とみなされるのはなぜですか?
検証パフォーマンスの向上が止まったときに停止すると、他の正則化器が複雑さを制限するのと同様に、モデルがノイズを記憶する状態に継続するのを防ぎます。