概述
它是計算幾乎所有其他分類指標的原始記分板。
深入探討
混淆矩陣是將預測標籤與實際標籤進行比較的網格。對於二元分類,它有四個單元:真陽性(正確預測為陽性)、真陰性(正確預測為陰性)、假陽性(陰性被錯誤標記為陽性,「I 型錯誤」)和假陰性(漏掉的陽性,「II 型錯誤」)。從這四個數字中,您可以得出準確度 ((TP+TN)/總計)、精確度 (TP/(TP+FP))、召回率或靈敏度 (TP/(TP+FN))、特異性 (TN/(TN+FP)) 和 F1 分數(精確度和召回率的調度平均值)。對於兩個以上類別的問題,矩陣變為 N×N,其中對角線保存正確的預測,非對角線單元準確地揭示哪些類別與其他類別混淆。
現實世界的實施
透過觀察影像分類器經常將非對角線單元中的哈士奇與狼混淆來診斷影像分類器失敗的地方
透過檢查假陰性來審核醫療篩檢工具-患有模型宣稱健康的疾病的患者
比較兩個具有相同準確度但錯誤阻止的真實電子郵件數量不同的電子郵件垃圾郵件過濾器(誤報)
評估多類手寫數字辨識器,發現 4 和 9 最常被誤認為彼此
混淆矩陣的未來
混淆矩陣仍將是基礎性的,但工具正在使它們變得更加豐富:互動式、標準化熱圖、大型標籤集的每類細分,以及將每種錯誤類型乘以其現實世界懲罰的成本加權矩陣。在公平審計中,從業者現在計算每個人口亞組的單獨混淆矩陣,以揭示不平等的錯誤率。期望繼續整合到模型儀表板中,按一下儲存格會顯示實際錯誤分類的範例以進行檢查。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄混淆矩陣在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是混淆矩陣?
混淆矩陣是一個簡單的表,它將分類器的預測分為每個類別的正確和錯誤計數。它是計算幾乎所有其他分類指標的原始記分板。
在二元混淆矩陣中,什麼是假陰性?
假陰性是模型通過將其標記為陰性而錯過的實際陽性 - 例如,一名生病的患者宣布健康。
哪一個指標衡量模型正確辨識的實際陽性的比例?
召回率(也稱為靈敏度或真陽性率)是 TP / (TP + FN) — 模型捕獲的真實陽性的比例。
在 5 類問題的混淆矩陣中,對角線單元代表什麼?
在 N×N 矩陣中,對角線表示預測類別與真實類別相符的情況,即正確的預測。
為什麼在沒有混淆矩陣的情況下,僅憑準確性就會產生誤導?
具有相同精度的兩個模型的誤差分佈可能截然不同;混淆矩陣揭示了錯誤是否主要是誤報或漏報。
F1 分數是哪兩個指標的調和平均值?
F1 使用調和平均值將精確度和召回率合併為一個數字,這會懲罰兩者之間的巨大不平衡。