概要
It is the raw scoreboard from which nearly every other classification metric is calculated.
ディープダイブ
混同行列は、予測されたラベルと実際のラベルを比較するグリッドです。バイナリ分類の場合、真陽性 (正しく陽性と予測されたもの)、真陰性 (正しく陰性と予測されたもの)、偽陽性 (陰性に誤って陽性のフラグが付けられた陰性、「タイプ I エラー」)、および偽陰性 (見逃した陽性、「タイプ II エラー」) の 4 つのセルがあります。これら 4 つの数値から、精度 ((TP+TN)/合計)、精度 (TP/(TP+FP))、再現率または感度 (TP/(TP+FN))、特異度 (TN/(TN+FP))、および F1 スコア (精度と再現率の調和平均) を導き出します。 3 つ以上のクラスの問題の場合、行列は N 行 N 列になり、対角線は正しい予測を保持し、対角線以外のセルはどのクラスが他のどのクラスと混同されているかを正確に示します。
現実世界の実装
画像分類器が対角外のセルでハスキーとオオカミを頻繁に混同することを確認して、画像分類器が失敗する場所を診断する
偽陰性 (モデルが健康であると宣言した疾患を持つ患者) を検査することによる医療スクリーニング ツールの監査
同じ精度を共有しますが、誤ってブロックする実際の電子メールの数 (誤検知) が異なる 2 つの電子メール スパム フィルターを比較します。
マルチクラスの手書き数字認識機能を評価して、4 と 9 が互いに間違われることが最も多いことを確認する
混同行列の未来
混同行列は基本的なものであり続けますが、対話型の正規化されたヒートマップ、大規模なラベル セットのクラスごとの内訳、各エラー タイプに実際のペナルティを乗算するコスト加重行列など、ツールによってさらに充実したものになっています。公平性監査では、専門家は現在、人口統計上のサブグループごとに個別の混同行列を計算して、不等なエラー率を明らかにしています。モデル ダッシュボードへの統合が継続され、セルをクリックすると実際に誤って分類された例が表示され、検査できるようになります。
実践する
なぜそれが重要なのか
- より明確な判決. これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
- 費用と予算. お金や時間を費やす前に、実装に関するより良い質問をすることができます。
- チームとワークフロー. 共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
気をつけてください
- チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
- ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
- データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
次のステップ
- 必要な結果を平易な言葉で定義することから始めます。
- テストする前に、成功指標と失敗条件を 1 つ選択します。
- 洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
- 混同行列が役立つ部分と、より単純な方法の方が優れている部分を文書化します。
探検を続けましょう
よくある質問
What is Confusion Matrices?
混同行列は、分類子の予測をクラスごとに正しい数と誤った数に分類する単純なテーブルです。これは、他のほぼすべての分類メトリックが計算される生のスコアボードです。
二項混同行列における偽陰性とは何ですか?
偽陰性とは、モデルが陰性のラベルを付けることで見逃した実際の陽性です。たとえば、病気の患者が健康であると宣言されます。
モデルが正しく特定した実際の陽性者の割合を測定する指標はどれですか?
再現率 (感度または真陽性率とも呼ばれる) は、TP / (TP + FN)、つまりモデルが捕らえた真陽性の割合です。
5 つのクラスの問題の混同行列で、対角のセルは何を表しますか?
N 行 N 列の行列では、対角線は、予測されたクラスが真のクラスと一致するケース、つまり正しい予測を保持します。
混同行列がないと、精度だけが誤解を招く可能性があるのはなぜですか?
同じ精度の 2 つのモデルでも、誤差の分布が大きく異なる可能性があります。混同マトリックスは、エラーのほとんどが誤報なのか、それとも見逃した陽性なのかを明らかにします。
F1 スコアは、どの 2 つの指標の調和平均ですか?
F1 は、調和平均を使用して精度と再現率を 1 つの数値に結合し、2 つの間の大きな不均衡にペナルティを与えます。