概述
它將單一猜測轉化為具有數學覆蓋承諾的可信範圍。
深入探討
大多數模型都會為您提供一個點預測或 Softmax 分數,看起來像是置信度,但通常並非如此。共形預測解決了這個問題。您採用經過訓練的模型,使用不合格度量(例如,誤差或一減去預測機率)對每個範例的「奇怪」程度進行評分,並在保留的校準集上計算這些分數。為了預測新點,您需要包含不合格分數不低於校準分數大約第 90 個百分位數的每個標籤。結果是一個預測集,可能是幾個用於分類的標籤或一個用於迴歸的區間。標題保證是無分配的:只要您的資料是可交換的,無論您使用哪種基礎模型,該集合都以所選速率覆蓋真實價值。
現實世界的實施
當不確定時,皮膚病變分類器會返回集合{黑色素瘤,痣},提示皮膚科醫生進行審查,而不是單一過度自信的標籤。
房價模型輸出 31 萬美元至 36.5 萬美元的區間,保證在 90% 的買家談判時間內包含銷售價格。
LLM 問答系統會附加一小部分候選答案並提供覆蓋率保證,將大量候選答案標記為需要人工審核的案例。
藥物毒性篩選管道會發出預測區間,以便化學家知道哪些化合物具有可靠的窄估計值,哪些化合物具有不確定的估計值。
共形預測的未來
研究正在超越可交換性要求,轉向時間序列和變化分佈,使用線上調整閾值的自適應和加權共形方法。有條件的保險是一個主要的開放領域,它保證每個子群體的利率不變,而不僅僅是平均利率。隨著監管機構越來越需要校準、可審計的不確定性而不是簡單的預測,預計保形層將在法學碩士管道、醫療分診工具和自主系統中使用。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是共形預測?
保形預測包裝任何模型以輸出一個集合或區間,保證包含具有選定機率(例如 90%)的真實答案。它將單一猜測轉變為具有數學覆蓋承諾的可信範圍。
共形預測方法輸出什麼而不是單一標籤?
保形預測會傳回一組(分類)或區間(迴歸),旨在以選定的比率(如 90%)包含真實值。
哪個假設支持標準保形覆蓋保證?
此保證依賴可交換性,這意味著重新排序積分後聯合分配不會改變。它不需要對模型進行假設。
校準裝置的作用是什麼?
不合格分數是在保留的校準集上計算的,其分位數決定了新點要包含哪些標籤。
如果您設定 alpha = 0.1,您的目標覆蓋範圍是多少?
覆蓋率等於 1 減去 alpha,因此 alpha = 0.1 的目標是真實值的 90% 覆蓋率。
當模型對輸入非常不確定時,預測集通常會發生什麼?
越難的輸入會產生更多分數低於閾值的標籤,因此較大的集合表示更大的不確定性。