概述
它們共同揭示了簡單的準確性所隱藏的內容——模型的積極預測正確的頻率,以及它實際捕捉了多少真正的積極因素。
深入探討
當模型將項目標記為正面時,有兩個問題很重要。精確度詢問:在我們標記的所有內容中,有多少是真正正面的?它等於真陽性除以所有預測陽性,從而懲罰誤報。回憶(敏感度)問:在所有真正的正面因素中,我們發現了多少?它等於真實陽性數除以所有實際陽性數,並對未命中進行懲罰。這些通常是權衡的:降低決策閾值可以捕捉到更多的積極資訊(更高的召回率),但標記更多的垃圾資訊(更低的精確度),反之亦然。優先考慮哪一個取決於成本——垃圾郵件過濾器有利於精確性(不要丟棄真正的郵件),而癌症篩檢有利於召回(不要錯過腫瘤)。 F1 分數(它們的調和平均值)將兩者平衡在一個數字中。
現實世界的實施
垃圾郵件過濾器會進行高精度調整,因此合法電子郵件幾乎不會被錯誤地發送到垃圾郵件資料夾。
醫學篩檢測試優先考慮高召回率,以避免漏掉實際患有該疾病的患者,從而接受更多的誤報進行追蹤。
搜尋和推薦系統報告 precision@k(前 k 個結果中有多少是相關的)來衡量排名品質。
詐欺偵測透過 F1 分數平衡精確度和召回率,因為誤報和遺漏詐欺的成本都很高。
精確度和召回率的未來
隨著人工智慧進入高風險領域——醫療診斷、內容審核、詐欺——團隊越來越多地報告精確度和召回率(及其曲線),而不僅僅是準確度,並調整閾值以匹配現實世界的成本和公平性約束。每組精確度/召回率審核正在成為檢測不同族群的不同錯誤率的標準。期望有更豐富的成本敏感指標、校準機率和工具,讓利害關係人能夠互動式地選擇操作點,而不是接受預設的 0.5 閾值。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄精確度和召回率在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是精確率和召回率?
精確度和召回率是評估分類器的兩個互補指標,尤其是當類別不平衡時。它們共同揭示了簡單的準確性所隱藏的內容——模型的積極預測正確的頻率,以及它實際捕捉了多少真正的積極因素。
精度回答哪個問題?
Precision = TP / (TP + FP) 衡量模型正面預測的正確性-正面標誌的可信度。
在固定的評估集上,降低正類決策閾值通常會產生哪種權衡?
降低閾值會擴大或保留預測為正類的集合。它可能會捕捉到額外的真正例與額外的偽正例;具體變化取決於哪些項目跨越了閾值。
為什麼精確度和召回率能夠揭示在負樣本佔多數的資料集中被高準確率掩蓋的弱點?
準確率可能會被正確的負類預測所主導。精確度和召回率會使用 TP、FP 和 FN 來檢視正類標記以及漏掉的正類。
前十個搜尋結果中有六個是相關的。該結果列表的 precision@10 是多少?
Precision@10 衡量的是前十個結果中的相關比例:6/10 = 60%。