過学習と過小学習
過学習とは、モデルがトレーニング データを記憶し、新しい例で失敗することです。アンダーフィッティングとは、単純すぎて実際のパターンを捉えることができない場合です。
概要
両者の中間点を見つけることが機械学習の中心的な課題です。
ディープダイブ
すべてのモデルは有限のトレーニング セットに適合しますが、目標は目に見えないデータで良好なパフォーマンスを発揮することです。オーバーフィット モデルは、トレーニング セットのノイズと癖を実際の信号であるかのように扱います。トレーニング データでは 99% のスコアを獲得しても、テスト セットでは 70% に低下する可能性があります。アンダーフィット モデルはその逆の問題で、基礎となる構造を捉えるには硬すぎるため、トレーニング データとテスト データの両方でうまく機能しません。トレーニングとテストのパフォーマンスの差が明らかな兆候です。アンダーフィッティングは、どこでも高い誤差として表示されます (高いバイアス)。過学習は、トレーニング エラーは低いものの、テスト エラーは高い (高い分散) として示されます。修正は反対方向に行われるため、スキルはどの問題が発生しているかを認識することになります。
技術的な洞察
過学習と過小学習は、バイアスと分散のトレードオフの両端です。バイアスとは、過度に単純化された仮定から生じる誤差です。分散は、特定のトレーニング サンプルに対して敏感すぎることによる誤差です。小さな線形モデルには高いバイアスと低い分散 (アンダーフィット) があります。巨大な制約のないモデルは、バイアスが低く、分散（オーバーフィット）が高くなります。予想される誤差の合計は、バイアス二乗と分散と既約ノイズとして大まかに分解されます。専門家は、トレーニング セットの精度と保持された検証セットを比較し、2 つの曲線がどこで分岐するかを観察することで問題を検出します。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
過学習と過小学習の未来
これらの概念は依然として基礎的なものですが、非常に大規模なニューラル ネットワークによって古典的な状況が複雑化しています。最新のモデルは、データ ポイントよりもはるかに多くのパラメータを持つことができますが、それでも十分に一般化できます。この驚くべき状況は、過学習のピーク後にテスト誤差が再び低下する「二重降下」と呼ばれることもあります。研究では、過剰パラメータ化されたモデルが一般化する理由、オプティマイザーにおける暗黙的な正則化の役割、分布シフトの自動検出の改善にますます焦点が当てられています。実世界のデータがトレーニング データから遠ざかるにつれて、実稼働環境での過剰適合を警告する、より豊富な診断が期待されます。
現実世界の実装
特定の送信者名を含むすべての電子メールにフラグを付けるスパム フィルター。その送信者がトレーニング データ内でたまたま大量にスパムを送信し、新しいスパマーを完全に見逃しているためです (過剰適合)。
住宅価格モデルは平方フィートのみを使用し、場所、寝室、条件を無視しているため、高級住宅地では大きく外れます (適合不足)。
医療画像分類器は、病気の代わりに病院のスキャナーの透かしを検出するように学習しますが、他の病院では失敗します (偽の特徴への過剰適合)。
トレーニング中にトレーニング損失と検証損失をプロットし、トレーニング損失が低下し続ける一方で検証損失が上昇し始めたときに停止します (過剰学習を早期に検出します)。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
オーバーフィッティングとアンダーフィッティングが役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
バックプロパゲーション
よくある質問
過学習とは何でしょうか、そして過充電とは何でしょうか?
過学習とは、モデルがトレーニング データを記憶し、新しい例で失敗することです。アンダーフィッティングとは、単純すぎて実際のパターンを捉えることができない場合です。それらの間のスイートスポットを見つけることが機械学習の中心的な課題です。
モデルのトレーニング データでは 98% のスコアが得られますが、実行されたテスト セットでは 71% しかスコアが得られません。最も可能性の高い問題は何ですか?
トレーニング精度は高いがテスト精度が大幅に低いという大きなギャップは、過学習の典型的な兆候です。つまり、モデルが一般的なパターンではなくトレーニング データにノイズを当てはめていることです。
アンダーフィッティングを最もよく表すシナリオはどれですか?
アンダーフィット モデルは単純すぎるため、基礎となるパターンを捉えることができないため、トレーニングに使用されたデータを含むあらゆる場所でパフォーマンスが低下します。
バイアスと分散のトレードオフにおいて、高い分散はどの結果と最も関連していますか?
分散が大きいということは、モデルが参照する正確なトレーニング データに応じて大きく変化することを意味し、過学習につながります。高バイアスはその逆であり、過度に単純化されたものです。
ローンデフォルトモデルでは、申込者の年齢のみが使用され、収入、借金、信用履歴は無視されます。トレーニングと新しいデータの両方でパフォーマンスが低下します。どうすればいいでしょうか？
あらゆる場所でパフォーマンスが低下している場合は、適合が不十分であることを示します。修正方法は、多くの場合、有益な特徴を追加することによってモデルの容量を増やし、真の関係を表現できるようにすることです。
過剰適合の検出にホールドアウト検証またはテスト セットが不可欠なのはなぜですか?
トレーニングの精度だけを見れば、オーバーフィッティングは目に見えません。目に見えないデータを評価すると、暗記と真の一般化との間のギャップが明らかになります。