過擬合與欠擬合
過度擬合是指模型記住了其訓練數據，但在新範例上卻失敗了；欠擬合是指過於簡單而無法捕捉真實模式。
概述
Hitting the sweet spot between them is the central challenge of machine learning.
深入探討
每個模型都適合有限的訓練集，但目標是在未見過的數據上表現良好。過度擬合模型將訓練集的雜訊和怪癖視為真實訊號：它可能在訓練資料上得分為 99%，但在測試集上得分卻下降到 70%。欠擬合模型是相反的問題，過於僵化而無法捕捉底層結構，因此它在訓練和測試資料上的表現都很差。訓練和測試表現之間的差距是一個明顯的跡象。欠擬合在任何地方都顯示為高誤差（高偏差）；過度擬合表現為低訓練誤差但高測試誤差（高方差）。技巧是識別你遇到的問題，因為修復的方向是相反的。
技術洞察
過度擬合和欠擬合是偏差-方差權衡的兩端。偏差是由於過於簡單化的假設而產生的錯誤；方差是由於對特定訓練樣本過於敏感而產生的誤差。微小的線性模型具有高偏差和低方差（欠擬合）；巨大的無約束模型具有低偏差和高方差（過度擬合）。總預期誤差大致分解為偏差平方加方差加上不可約雜訊。從業者透過將訓練集的準確性與保留的驗證集進行比較，觀察兩條曲線的分歧來檢測問題。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
過擬合與欠擬合的未來
這些概念仍然是基礎概念，但非常大的神經網路使經典圖像變得複雜。現代模型可以擁有比數據點多得多的參數，但仍能很好地概括，這是一種令人驚訝的機制，有時被稱為“雙下降”，其中測試誤差在過度擬合峰值後再次下降。研究越來越關注過度參數化模型泛化的原因、優化器中隱式正則化的作用以及更好地自動檢測分佈偏移。當現實世界的數據偏離訓練數據時，預計會有更豐富的診斷來標記生產中的過度擬合。
現實世界的實施
垃圾郵件過濾器，標記包含特定寄件者姓名的每封電子郵件，因為該寄件者恰好在訓練資料中大量發送垃圾郵件，完全錯過了新的垃圾郵件發送者（過度擬合）。
僅使用平方英尺並忽略位置、臥室和條件的房價模型，因此它在昂貴的社區中嚴重缺失（擬合不足）。
醫學影像分類器學習檢測醫院的掃描器水印而不是疾病，但在其他醫院失敗（過度擬合虛假特徵）。
繪製訓練期間的訓練損失與驗證損失的圖，並在驗證損失開始上升而訓練損失持續下降時停止（及早發現過度擬合）。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄過度擬合和欠擬合在哪些方面有幫助，以及哪些更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Overfitting and Underfitting?
過度擬合是指模型記住了其訓練數據，但在新範例上卻失敗了；欠擬合是指過於簡單而無法捕捉真實模式。找到它們之間的最佳平衡點是機器學習的核心挑戰。
模型在訓練資料上得分為 98%，但在測試集上得分僅 71%。最有可能出現的問題是什麼？
訓練精度很高但測試精度卻低得多的巨大差距是過度擬合的典型特徵：模型擬合訓練資料中的雜訊而不是一般模式。
哪一種情況最能描述欠擬合？
欠擬合模型太簡單，無法捕捉底層模式，因此它在任何地方都表現不佳，包括在其訓練資料上。
在偏差-方差權衡中，高方差與哪一種結果最相關？
高方差意味著模型會根據其看到的確切訓練資料而發生很大變化，從而導致過度擬合。高偏差是相反的、過於簡化的結果。
貸款違約模型僅使用申請人的年齡，忽略收入、債務和信用記錄。它在訓練和新數據上都表現不佳。你應該做什麼？
到處表現不佳都表示擬合不足。解決方法是增加模型容量，通常透過添加資訊特徵，使其能夠代表真實的關係。
為什麼保留驗證或測試集對於檢測過度擬合至關重要？
如果只看訓練精度，過度擬合是看不見的。對看不見的數據進行評估暴露了記憶和真正的概括之間的差距。