基礎知識指南

經驗風險最小化

實證風險最小化(ERM)透過在有限的訓練樣本上最小化其平均損失,作為未知資料分佈下期望損失的代理,來選擇假設

聆聽此指南AI 語音敘述 · ~3 min

本頁閱讀時間3分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 經驗風險最小化的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為對該樣本的擬合可能與在新資料上的表現不同,這也是模型複雜度與獨立評估成為學習問題一部分的原因。

深入探討

Empirical risk minimization formalizes what most machine learning training actually does. The true risk of a model is the expected value of some loss function over the entire, usually infinite and unknown, distribution of possible data. Since that distribution is inaccessible, ERM substitutes it with the empirical risk: the average loss computed over a finite training sample drawn from that distribution. Learning becomes an optimization problem: search over a hypothesis class (all linear functions, or all neural networks of a given architecture) for the one that minimizes this average sample loss, typically via gradient descent or a closed-form solution. For a fixed hypothesis and representative independent samples, average sample loss can estimate expected loss. To make a guarantee that holds across a whole hypothesis class, additional conditions on the class and sample are needed; uniform-convergence results such as VC bounds make those assumptions explicit. The catch is that minimizing training loss too aggressively, especially with a hypothesis class that is complex relative to the sample size, can drive empirical risk toward zero while true risk stays high; the model has memorized noise specific to the training sample rather than learning the underlying pattern. This is overfitting, and it is why practitioners use regularization, cross-validation, and held-out test sets: not because ERM is wrong, but because minimizing empirical risk alone provides no guarantee about true risk without additional constraints or enough data relative to model complexity. A common misconception is that ERM refers to a specific algorithm; it is a general principle that many learning procedures use, sometimes with regularization or other constraints and different loss functions or hypothesis classes.

現實世界的實施

通過調整參數以最小化標記訓練集中的錯誤分類電子郵件比例來訓練垃圾郵件過濾器,期望這能推廣到新的進來郵件

通過最小化觀測數據點的均方誤差來擬合線性回歸線,這實際上就是帶平方誤差損失的 ERM

神經網絡的訓練迴圈反覆計算梯度更新,以降低從訓練集中抽取的迷你批次上的平均交叉熵損失。

一個在訓練資料上幾乎零誤差、但在新資料上表現不佳的模型,說明了經驗風險(訓練損失)與真實風險(未見資料的期望損失)之間的差距,即過度擬合。

經驗風險最小化的未來

ERM 仍是監督式學習中廣泛使用的訓練原則,常與正則化或其他限制結合,從簡單迴歸到大型神經網路皆適用,且這種情況不太可能改變,因為它是一個一般的數學框架,而非可被取代的特定技術。針對極大、過度參數化模型的經驗風險與真實風險之間差距的精煉仍是活躍的研究領域,傳統的過度擬合直覺有時無法預測觀測到的泛化行為。分布魯棒最佳化與其他風險形式的研究將 ERM 的概念延伸至處理訓練與部署資料之間的轉移,但這些仍是同一基礎原則的延伸。

付諸實踐

為什麼這很重要

  • 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
  • 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
  • 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。

留意

  • 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
  • 基準測試可能看起來很強大,但實際效能卻參差不齊。
  • 忽視數據品質和評估計劃通常會產生脆弱的結果。

後續步驟

  1. 從您需要的結果的簡單語言定義開始。
  2. 在測試之前選擇一種成功指標和一種失敗條件。
  3. 使用代表性資料運行小型試點,而不是完善的演示集。
  4. 說明經驗風險最小化何時有幫助、何時較簡單的方法更佳的文件。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加經驗風險最小化測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是經驗風險最小化?

經驗風險最小化(ERM)透過在有限訓練樣本上最小化其平均損失,作為未知資料分佈下期望損失的代理,來選擇假設。這很重要,因為對該樣本的擬合可能與對新資料的表現不同,這也是模型複雜度與獨立評估成為學習問題一部分的原因。

在訓練過程中,經驗風險最小化實際上最小化的是什麼?

ERM 用可觀測的經驗風險取代不可觀測的真實風險,經驗風險是實際可用的有限訓練樣本上的平均損失。

為什麼模型不能直接最小化真實風險而不是經驗風險?

真實風險是對完整、通常未知且無限資料分佈的期望,因此無法直接計算;只能使用有限樣本。

隨著 IID 樣本增大,哪個經典結果有助於解釋為什麼其平均損失可以估計固定模型的期望損失?

指南引用大數定律和 VC 理論的均勻收斂界作為經驗風險隨更多資料收斂於真實風險的理論基礎。

在訓練過程中,當比較經驗風險與真實風險時,過擬合會表現為什麼?

過擬合發生在模型記住訓練樣本特定的噪聲,達到非常低的經驗風險,而其在未見資料上的真實風險仍保持高。

正則化在 ERM 目標中扮演什麼角色?

正則化會在 ERM 目標中加入懲罰項,例如 L2 範數項,接受稍高的訓練損失,以換取更能泛化的假設。