基礎知識指南

準確率和召回率

精確度和召回率是評估分類器的兩個互補指標,尤其是當類別不平衡時。

閱讀時間約2分鐘最後更新

概述

Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.

深入探討

當模型將項目標記為正面時,有兩個問題很重要。精確度詢問:在我們標記的所有內容中,有多少是真正正面的?它等於真陽性除以所有預測陽性,從而懲罰誤報。回憶(敏感度)問:在所有真正的正面因素中,我們發現了多少?它等於真實陽性數除以所有實際陽性數,並對未命中進行懲罰。這些通常是權衡的:降低決策閾值可以捕捉到更多的積極資訊(更高的召回率),但標記更多的垃圾資訊(更低的精確度),反之亦然。優先考慮哪一個取決於成本——垃圾郵件過濾器有利於精確性(不要丟棄真正的郵件),而癌症篩檢有利於召回(不要錯過腫瘤)。 F1 分數(它們的調和平均值)將兩者平衡在一個數字中。

技術洞察

這兩個指標都來自混淆矩陣的真陽性 (TP)、假陽性 (FP) 和假陰性 (FN):精確度 = TP / (TP + FP),回想率 = TP / (TP + FN)。值得注意的是,兩者都沒有使用真正的負數,這就是為什麼當負數遠遠多於正數時它們仍能提供資訊。掃過分類閾值可繪製出精確率-召回率曲線;它下面的區域(平均精度)總結了性能,並且在高度不平衡的數據上優於 ROC-AUC。

戰略影響

更明確的決策

它可以幫助您將清晰的技術聲明與行銷語言分開。

成本與預算

在花費金錢或時間之前,您可以提出更好的實施問題。

團隊與工作流程

具有共同理解的團隊可以做出更好的產品、政策和學習決策。

精確度和召回率的未來

隨著人工智慧進入高風險領域——醫療診斷、內容審核、詐欺——團隊越來越多地報告精確度和召回率(及其曲線),而不僅僅是準確度,並調整閾值以匹配現實世界的成本和公平性約束。每組精確度/召回率審核正在成為檢測不同族群的不同錯誤率的標準。期望有更豐富的成本敏感指標、校準機率和工具,讓利害關係人能夠互動式地選擇操作點,而不是接受預設的 0.5 閾值。

現實世界的實施

垃圾郵件過濾器會進行高精度調整,因此合法電子郵件幾乎不會被錯誤地發送到垃圾郵件資料夾。

醫學篩檢測試優先考慮高召回率,以避免漏掉實際患有該疾病的患者,從而接受更多的誤報進行追蹤。

搜尋和推薦系統報告 precision@k(前 k 個結果中有多少是相關的)來衡量排名品質。

詐欺偵測透過 F1 分數平衡精確度和召回率,因為誤報和遺漏詐欺的成本都很高。

風險與防護欄

不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。

基準測試可能看起來很強大,但實際效能卻參差不齊。

忽視數據品質和評估計劃通常會產生脆弱的結果。

實施路線圖

1

從您需要的結果的簡單語言定義開始。

2

在測試之前選擇一種成功指標和一種失敗條件。

3

使用代表性資料運行小型試點,而不是完善的演示集。

4

記錄精確度和召回率在哪些方面有幫助以及在哪些方面更簡單的方法更好。

不斷探索

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Precision and Recall quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

開始測驗

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

下一步指南

Tempus AI 精準醫療

常見問題

What is Precision and Recall?

精確度和召回率是評估分類器的兩個互補指標,尤其是當類別不平衡時。它們共同揭示了簡單的準確性所隱藏的內容——模型的積極預測正確的頻率,以及它實際捕捉了多少真正的積極因素。

What is next for Precision and Recall?

隨著人工智慧進入高風險領域——醫療診斷、內容審核、詐欺——團隊越來越多地報告精確度和召回率(及其曲線),而不僅僅是準確度,並調整閾值以匹配現實世界的成本和公平性約束。每組精確度/召回率審核正在成為檢測不同族群的不同錯誤率的標準。期望有更豐富的成本敏感指標、校準機率和工具,讓利害關係人能夠互動式地選擇操作點,而不是接受預設的 0.5 閾值。

精度回答哪個問題?

Precision = TP / (TP + FP) 衡量模型正面預測的正確性-正面標誌的可信度。

對於高度不平衡的資料集,為什麼精確度和召回率優於普通精確度?

因為這兩個指標都不使用真正的負例,所以它們不會像準確度那樣被大量、易於預測的負類誇大。