概述
它們一起告訴您品質排名,而與您劃分界限的位置無關。
深入探討
當您將分類閾值從 1 向下滑動到 0 時,接收者操作特徵 (ROC) 曲線會繪製真陽性率(y 軸上的靈敏度)與假陽性率(x 軸上的 1 減去特異性)的關係。每個閾值給出一個分;每個閾值給出一個分。連接它們就可以畫出曲線。將所有正面因素排名高於所有負面因素的模型位於左上角。曲線下面積 (AUC) 測量該線下方的總面積,範圍從 0.5(隨機猜測,對角線)到 1.0(完美)。一個方便的解釋:AUC 等於模型對隨機選擇的正值得分高於隨機選擇的負值得分的機率。這個術語來自二戰時期雷達操作員區分訊號和噪音的過程。
現實世界的實施
透過 AUC 比較銀行的兩種詐欺偵測模型,以選擇最能將詐欺交易排在合法交易之上的模型
評估疾病的診斷測試(例如癌症篩檢分類器),放射科醫生需要在發現更多病例和誤報之間進行權衡
使用 ROC 曲線調整垃圾郵件過濾器的閾值,以將誤報(合法郵件標記為垃圾郵件)保持在非常低的水平
對信用違約評分模型進行基準測試,其中 AUC 總結瞭如何區分還款借款人和違約借款人
ROC 曲線和 AUC 的未來
ROC-AUC 仍然是預設的報告指標,但從業者越來越多地將其與嚴重不平衡資料的精確召回曲線配對,其中 ROC 可能看起來看似樂觀。預計會更廣泛地採用部分 AUC(重點關注對操作而言重要的低誤報區域)、成本敏感型和決策曲線分析以及針對表面公平性差距的每個子組 AUC 報告。隨著模型提供真實決策,校準指標和 AUC 將越來越多地並排報告,而不是單獨報告 AUC。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄 ROC 曲線和 AUC 在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是 ROC 曲線和 AUC?
ROC 曲線繪製了分類器在每個可能的決策閾值上區分兩個類別的效果,而 AUC 將整個曲線壓縮為一個數字。它們一起告訴您品質排名,而與您劃分界限的位置無關。
ROC 曲線相互繪製哪兩個量?
ROC 曲線繪製了 y 軸上的真陽性率(靈敏度)與 x 軸上的假陽性率(1 - 特異性)跨閾值的關係。
什麼 AUC 值對應於表現不比隨機猜測更好的分類器?
隨機分類器追蹤對角線,給出的 AUC 為 0.5。 AUC 為 1.0 是完美的,0.0 意味著它使每個排名完全倒退。
為什麼 AUC 被描述為「閾值無關」?
AUC 總結了整個 ROC 曲線,該曲線是透過掃描每個閾值產生的,因此它不依賴任何單一選擇的截止值。
對於嚴重不平衡的資料集,通常建議使用哪條曲線與 ROC 一起使用或取代 ROC,因為 ROC 可能看起來太樂觀?
對於罕見的陽性問題,大量的真陰性使假陽性率保持在較低水平,誇大了 ROC。精確率-召回率曲線專注於正類別,更真實地揭示性能。
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.