概述
這很重要,因為精確的信心能驅動醫療、金融以及風險敏感的 AI 做出良好決策。
深入探討
模型可能很準確,但校準很差。現代深度網路因過度自信而臭名昭著,其輸出 99% 的預測正確率要低得多。校準透過按置信度對預測進行分桶並檢查每個桶中觀察到的頻率來對此進行審核。可靠性圖繪製了預測與實際情況;完美校準的模型位於對角線上。預期校準誤差 (ECE) 將差距總結為各箱的加權平均值。修復有兩種形式:事後方法,如 Platt 縮放(擬合邏輯變換)、溫度縮放(用學習的標量 T 除 logits)和等滲回歸(單調逐步擬合);以及訓練時方法,例如標籤平滑或適當的評分損失。校準和準確性是不同的目標,改進其中一個目標並不需要改進另一個目標。
現實世界的實施
氣象服務可確保預測降雨量為 30% 的日子裡,實際上有 30% 的時間會下雨,這是教科書的校準目標。
信用違約模型是有溫度尺度的,因此規定的 5% 違約風險確實對應於定價貸款的 5% 歷史違約率。
醫療診斷網絡透過等滲透壓回歸重新校準,因此「疾病的高機率」反映了臨床醫生採取行動之前的真實發病率。
自動駕駛感知堆疊可校準物件偵測置信度,因此規劃模組會適當信任 90% 的行人分數。
機率校準的未來
隨著人工智慧進入高風險循環,校準從事後想法轉變為要求。工作正在擴展到校準大型語言模型置信度和言語不確定性、分佈變化下的校準以及分組校準,以便各個子群體的機率是公平的。期望校準指標以及模型卡和監管審計的準確性,再加上與保形預測和選擇性預測的更緊密整合,以便系統在誠實信心較低時能夠可靠地棄權。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是機率校準?
校準意味著模型規定的機率與現實相符:當它說 70% 時,該事件應該在大約 70% 的情況下發生。這很重要,因為準確的信心可以推動醫學、金融和風險敏感型人工智慧領域的良好決策。
溫度縮放對神經網路的輸出有何影響?
溫度縮放將 logits 除以單一學習的 T 並重新套用 softmax,軟化或銳化機率而不更改 argmax。
可靠性圖繪製了什麼?
可靠性圖將預測置信度與實際結果頻率進行比較;對角線代表完美的校準。
為什麼高精度模型還需要校準?
模型可以很好地對預測進行排名(高精度),但會分配不匹配的機率值,因此必須單獨檢查校準。
在指南的校準工作流程中,溫度縮放通常是以哪種資料來擬合?
指南指出,單一溫度係數是以驗證資料擬合,以最小化負對數概似度。
為什麼溫度縮放可以提升校準而不改變 top-1 準確率?
正的溫度會在 softmax 之前重新縮放 logits,調整信心同時保留 argmax 類別。