ROC 曲線和 AUC
ROC 曲線繪製了分類器在每個可能的決策閾值上區分兩個類別的效果，而 AUC 將整個曲線壓縮為一個數字。
概述
Together they tell you ranking quality independent of where you draw the cutoff.
深入探討
當您將分類閾值從 1 向下滑動到 0 時，接收者操作特徵 (ROC) 曲線會繪製真陽性率（y 軸上的靈敏度）與假陽性率（x 軸上的 1 減去特異性）的關係。每個閾值給出一個分；每個閾值給出一個分。連接它們就可以畫出曲線。將所有正面因素排名高於所有負面因素的模型位於左上角。曲線下面積 (AUC) 測量該線下方的總面積，範圍從 0.5（隨機猜測，對角線）到 1.0（完美）。一個方便的解釋：AUC 等於模型對隨機選擇的正值得分高於隨機選擇的負值得分的機率。這個術語來自二戰時期雷達操作員區分訊號和噪音的過程。
技術洞察
AUC 與閾值無關，因為它整合了所有截止值的效能，因此它不受您設定決策邊界的位置的影響。它在數學上相當於 Mann-Whitney U 統計量和 Wilcoxon 秩和檢驗，這意味著它只取決於預測分數的排名順序，而不是它們的絕對值。這使得它在單調分數轉換下保持穩定，但對校準也不敏感：排名良好但校準不佳的模型仍然可以獲得較高的 AUC。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
ROC 曲線和 AUC 的未來
ROC-AUC 仍然是預設的報告指標，但從業者越來越多地將其與嚴重不平衡資料的精確召回曲線配對，其中 ROC 可能看起來看似樂觀。預計會更廣泛地採用部分 AUC（重點關注對操作而言重要的低誤報區域）、成本敏感型和決策曲線分析以及針對表面公平性差距的每個子組 AUC 報告。隨著模型提供真實決策，校準指標和 AUC 將越來越多地並排報告，而不是單獨報告 AUC。
現實世界的實施
透過 AUC 比較銀行的兩種詐欺偵測模型，以選擇最能將詐欺交易排在合法交易之上的模型
評估疾病的診斷測試（例如癌症篩檢分類器），放射科醫生需要在發現更多病例和誤報之間進行權衡
使用 ROC 曲線調整垃圾郵件過濾器的閾值，以將誤報（合法郵件標記為垃圾郵件）保持在非常低的水平
對信用違約評分模型進行基準測試，其中 AUC 總結瞭如何區分還款借款人和違約借款人
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄 ROC 曲線和 AUC 在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ROC Curves and AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is ROC Curves and AUC?
ROC 曲線繪製了分類器在每個可能的決策閾值上區分兩個類別的效果，而 AUC 將整個曲線壓縮為一個數字。它們一起告訴您品質排名，而與您劃分界限的位置無關。
ROC 曲線相互繪製哪兩個量？
ROC 曲線繪製了 y 軸上的真陽性率（靈敏度）與 x 軸上的假陽性率（1 - 特異性）跨閾值的關係。
什麼 AUC 值對應於表現不比隨機猜測更好的分類器？
隨機分類器追蹤對角線，給出的 AUC 為 0.5。 AUC 為 1.0 是完美的，0.0 意味著它使每個排名完全倒退。
為什麼 AUC 被描述為「閾值無關」？
AUC 總結了整個 ROC 曲線，該曲線是透過掃描每個閾值產生的，因此它不依賴任何單一選擇的截止值。
對於嚴重不平衡的資料集，通常建議使用哪條曲線與 ROC 一起使用或取代 ROC，因為 ROC 可能看起來太樂觀？
對於罕見的陽性問題，大量的真陰性使假陽性率保持在較低水平，誇大了 ROC。精確率-召回率曲線專注於正類別，更真實地揭示性能。