技術指南

共形預測

保形預測包裝任何模型以輸出一個集合或區間,保證包含具有選定機率(例如 90%)的真實答案。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 共形預測的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它將單一猜測轉化為具有數學覆蓋承諾的可信範圍。

深入探討

大多數模型都會為您提供一個點預測或 Softmax 分數,看起來像是置信度,但通常並非如此。共形預測解決了這個問題。您採用經過訓練的模型,使用不合格度量(例如,誤差或一減去預測機率)對每個範例的「奇怪」程度進行評分,並在保留的校準集上計算這些分數。為了預測新點,您需要包含不合格分數不低於校準分數大約第 90 個百分位數的每個標籤。結果是一個預測集,可能是幾個用於分類的標籤或一個用於迴歸的區間。標題保證是無分配的:只要您的資料是可交換的,無論您使用哪種基礎模型,該集合都以所選速率覆蓋真實價值。

現實世界的實施

當不確定時,皮膚病變分類器會返回集合{黑色素瘤,痣},提示皮膚科醫生進行審查,而不是單一過度自信的標籤。

房價模型輸出 31 萬美元至 36.5 萬美元的區間,保證在 90% 的買家談判時間內包含銷售價格。

LLM 問答系統會附加一小部分候選答案並提供覆蓋率保證,將大量候選答案標記為需要人工審核的案例。

藥物毒性篩選管道會發出預測區間,以便化學家知道哪些化合物具有可靠的窄估計值,哪些化合物具有不確定的估計值。

共形預測的未來

研究正在超越可交換性要求,轉向時間序列和變化分佈,使用線上調整閾值的自適應和加權共形方法。有條件的保險是一個主要的開放領域,它保證每個子群體的利率不變,而不僅僅是平均利率。隨著監管機構越來越需要校準、可審計的不確定性而不是簡單的預測,預計保形層將在法學碩士管道、醫療分診工具和自主系統中使用。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加共形預測測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是共形預測?

保形預測包裝任何模型以輸出一個集合或區間,保證包含具有選定機率(例如 90%)的真實答案。它將單一猜測轉變為具有數學覆蓋承諾的可信範圍。

共形預測方法輸出什麼而不是單一標籤?

保形預測會傳回一組(分類)或區間(迴歸),旨在以選定的比率(如 90%)包含真實值。

哪個假設支持標準保形覆蓋保證?

此保證依賴可交換性,這意味著重新排序積分後聯合分配不會改變。它不需要對模型進行假設。

校準裝置的作用是什麼?

不合格分數是在保留的校準集上計算的,其分位數決定了新點要包含哪些標籤。

如果您設定 alpha = 0.1,您的目標覆蓋範圍是多少?

覆蓋率等於 1 減去 alpha,因此 alpha = 0.1 的目標是真實值的 90% 覆蓋率。

當模型對輸入非常不確定時,預測集通常會發生什麼?

越難的輸入會產生更多分數低於閾值的標籤,因此較大的集合表示更大的不確定性。