概述
顯示的值(例如 0.9)並不自動意味著該單一答案有 90% 的機會是正確的;使用者需要上下文、驗證和合適的決策閾值。
深入探討
置信度顯示看起來比潛在證據更精確。在分類器中,系統可以輸出可能標籤的機率;在語言模型介面中,徽章可以是啟發式的、相似性值或供應商定義的估計值。該數字沒有通用的解釋,除非系統文件定義了它。詢問測量的內容、數據、任務以及分數是否經過校準。校準描述了許多情況下預測機率和觀察到的頻率之間的一致性。如果二元分類器校準良好,在分配機率接近 0.8 的一大組案例中,大約 80% 應該是陽性。這是人口層面的屬性,不能保證某個預測。模型可以進行整體校準,但在特定情況下仍會出現錯誤。它也可能是自信的和錯誤的,特別是當輸入與評估數據不同時。 Scikit-learn 的文檔指出,某些分類器提供的機率估計很差,並描述了獨立於模型訓練範例的資料擬合校準。這種差異很重要:評估用於擬合模型的相同範例可以使明顯的置信度看起來比新案例更好。對於實際檢查,使用代表性標記集,將預測分組為分數範圍,並將預測置信度與每個範圍內的實際正確分數進行比較。當樣本較小時,包括不確定區間。信心應該支持一項決定,而不是取代一項決定。醫療分類工作流程、垃圾郵件過濾器和照片搜尋對於錯誤接受和錯誤拒絕具有不同的成本。根據這些成本選擇閾值並測量由此產生的錯誤。較低的閾值可能會將更多案例送至人工審核;高閾值可能會自動化更多案例,同時允許出現更多錯誤。當系統不確定或後果嚴重時,保留棄權或升級的路徑。檢查相關子組的績效和不斷變化的條件。
現實世界的實施
在使用模型的置信度值來路由客戶請求之前,將模型的置信度值與單獨標記的樣本的正確性進行比較。
詢問供應商顯示的百分比是否為校準機率、排名分數或相似度量。
設定一個審核範圍,將低分答案分配給一個人,並測試該策略是否可以在不壓倒審核者的情況下發現錯誤。
按語言或任務類型追蹤信心和結果,以找到分數不太可靠的組別。
人工智慧信心分數的實際意義的未來
隨著人工智慧進入用戶需要決定何時進行驗證的工作流程,更多產品正在添加信心顯示和棄權選項。更好的評估實踐可以透過將分數與觀察到的結果聯繫起來並監控隨時間的變化,使這些訊號更有用。仍然不存在跨模型、任務和人群轉移的通用置信度。產品團隊需要解釋每個分數的含義,誠實地表明不確定性,並幫助使用者了解何時由個人或其他來源做出最終決定。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄人工智慧置信度得分的實際含義以及更簡單的方法在哪些方面更好。
不斷探索
常見問題
人工智慧置信度分數的實際意義是什麼?
AI 置信度分數是關於預測的特定於模型的訊號,其意義取決於系統如何定義和校準該分數。顯示的值(例如 0.9)並不自動意味著該單一答案有 90% 的機會是正確的;使用者需要上下文、驗證和合適的決策閾值。
經過校準的二元分類器為許多情況分配 0.8 的置信度。隨著時間的推移,該群體會發生什麼?
校準將預測機率與相似預測組中觀察到的頻率進行比較。
在解釋產品的「90% 置信度」標誌之前,您應該問什麼?
分數的定義和驗證決定了顯示的數字的含義。
為什麼校準資料應與模型的訓練資料分開?
訓練範例可以使表觀機率品質優於新範例的效能。
模型是整體校準的,但不是針對某一語言組的。接下來是什麼?
聚合校準可以隱藏子組的系統失配。
在這種情況下,歧視衡量什麼?
區分涉及對範例進行分離或排序,這與機率校準不同。