混淆矩陣
混淆矩陣是一個簡單的表，它將分類器的預測分為每個類別的正確和錯誤計數。
概述
It is the raw scoreboard from which nearly every other classification metric is calculated.
深入探討
混淆矩陣是將預測標籤與實際標籤進行比較的網格。對於二元分類，它有四個單元：真陽性（正確預測為陽性）、真陰性（正確預測為陰性）、假陽性（陰性被錯誤標記為陽性，「I 型錯誤」）和假陰性（漏掉的陽性，「II 型錯誤」）。從這四個數字中，您可以得出準確度 ((TP+TN)/總計)、精確度 (TP/(TP+FP))、召回率或靈敏度 (TP/(TP+FN))、特異性 (TN/(TN+FP)) 和 F1 分數（精確度和召回率的調度平均值）。對於兩個以上類別的問題，矩陣變為 N×N，其中對角線保存正確的預測，非對角線單元準確地揭示哪些類別與其他類別混淆。
技術洞察
此矩陣的強大之處在於它保留了單一精確度數字隱藏的錯誤結構。兩個具有相同 90% 準確率的模型可能具有截然不同的偽陰性率，當錯過癌症診斷的代價比誤報的代價更大時，這一點就非常重要。按照慣例，行通常代表真實的類別，列代表預測的類別（儘管有些庫會翻轉這一點），因此在計算精度與單元格的召回率之前，請務必檢查軸標籤。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
混淆矩陣的未來
混淆矩陣仍將是基礎性的，但工具正在使它們變得更加豐富：互動式、標準化熱圖、大型標籤集的每類細分，以及將每種錯誤類型乘以其現實世界懲罰的成本加權矩陣。在公平審計中，從業者現在計算每個人口亞組的單獨混淆矩陣，以揭示不平等的錯誤率。期望繼續整合到模型儀表板中，按一下儲存格會顯示實際錯誤分類的範例以進行檢查。
現實世界的實施
透過觀察影像分類器經常將非對角線單元中的哈士奇與狼混淆來診斷影像分類器失敗的地方
透過檢查假陰性來審核醫療篩檢工具－患有模型宣稱健康的疾病的患者
比較兩個具有相同準確度但錯誤阻止的真實電子郵件數量不同的電子郵件垃圾郵件過濾器（誤報）
評估多類手寫數字辨識器，發現 4 和 9 最常被誤認為彼此
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄混淆矩陣在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Confusion Matrices quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Confusion Matrices?
混淆矩陣是一個簡單的表，它將分類器的預測分為每個類別的正確和錯誤計數。它是計算幾乎所有其他分類指標的原始記分板。
在二元混淆矩陣中，什麼是假陰性？
假陰性是模型通過將其標記為陰性而錯過的實際陽性 - 例如，一名生病的患者宣布健康。
哪一個指標衡量模型正確辨識的實際陽性的比例？
召回率（也稱為靈敏度或真陽性率）是 TP / (TP + FN) — 模型捕獲的真實陽性的比例。
在 5 類問題的混淆矩陣中，對角線單元代表什麼？
在 N×N 矩陣中，對角線表示預測類別與真實類別相符的情況，即正確的預測。
為什麼在沒有混淆矩陣的情況下，僅憑準確性就會產生誤導？
具有相同精度的兩個模型的誤差分佈可能截然不同；混淆矩陣揭示了錯誤是否主要是誤報或漏報。
F1 分數是哪兩個指標的調和平均值？
F1 使用調和平均值將精確度和召回率合併為一個數字，這會懲罰兩者之間的巨大不平衡。