基本ガイド
ROC 曲線と AUC
ROC 曲線は、分類器がすべての可能な決定しきい値にわたって 2 つのクラスをどの程度適切に分離するかをプロットし、AUC はその曲線全体を 1 つの数値に圧縮します。
このガイドを聴くAIによるナレーション · ~2 min
概要
これらを組み合わせることで、どこでカットオフを引くかに関係なく、ランキングの品質がわかります。
ディープダイブ
受信者動作特性 (ROC) 曲線では、分類しきい値を 1 から 0 までスライドさせながら、真陽性率 (y 軸の感度) と偽陽性率 (x 軸の 1 から特異度を引いた値) をプロットします。各しきい値には 1 つのポイントが与えられます。それらを接続すると曲線を描きます。すべてのポジティブをすべてのネガティブの上にランク付けするモデルは、左上隅に収まります。曲線下面積 (AUC) は、この線の下の合計面積を測定し、範囲は 0.5 (ランダムな推測、対角線) から 1.0 (完全) です。便利な解釈: AUC は、モデルがランダムに選択した陽性のスコアが、ランダムに選択した陰性のスコアよりも高い確率に等しいです。この用語は、第二次世界大戦中のレーダーオペレーターが信号とノイズを区別したことに由来しています。
現実世界の実装
銀行の 2 つの不正検出モデルを AUC に基づいて比較し、不正な取引を正当な取引よりも上位にランク付けするモデルを選択する
放射線科医がより多くの症例を検出することと誤報をトレードオフする必要がある病気の診断検査 (例: がんスクリーニング分類子) を評価する
ROC 曲線を使用してスパム フィルターのしきい値を調整し、誤検知 (スパムとしてフラグが付けられた正当なメール) を非常に低く抑える
AUC が返済する借り手と債務不履行者をどの程度区別しているかを要約するクレジット デフォルト スコアリング モデルのベンチマーク
ROC 曲線と AUC の将来
ROC-AUC は引き続きデフォルトのレポート指標ですが、ROC が一見楽観的に見える可能性がある非常に不均衡なデータの場合、実務家はこれを適合率-再現率曲線と組み合わせることが増えています。公平性のギャップを表面化するために、部分的な AUC (運用上重要な誤検知の少ない領域に焦点を当てた)、コスト重視の意思決定曲線分析、およびサブグループごとの AUC レポートの広範な採用が期待されます。モデルが実際の意思決定を提供するにつれて、AUC 単独ではなく、キャリブレーションメトリクスと AUC が並行して報告されることがますます増えています。
実践する
なぜそれが重要なのか
- より明確な判決. これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
- 費用と予算. お金や時間を費やす前に、実装に関するより良い質問をすることができます。
- チームとワークフロー. 共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
気をつけてください
- チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
- ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
- データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
次のステップ
- 必要な結果を平易な言葉で定義することから始めます。
- テストする前に、成功指標と失敗条件を 1 つ選択します。
- 洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
- ROC 曲線と AUC がどのような場合に役立つか、また、より単純な方法の方が優れている場合は文書化します。
探検を続けましょう
よくある質問
ROC 曲線と AUC とは何ですか?
ROC 曲線は、分類器がすべての可能な決定しきい値にわたって 2 つのクラスをどの程度適切に分離するかをプロットし、AUC はその曲線全体を 1 つの数値に圧縮します。これらを組み合わせると、どこでカットオフを引くかに関係なく、ランキングの品質がわかります。
ROC 曲線が相互にプロットする 2 つの量はどれですか?
ROC 曲線は、しきい値全体での X 軸の偽陽性率 (1 - 特異度) に対して Y 軸の真陽性率 (感度) をプロットします。
ランダムな推測と同等のパフォーマンスを発揮する分類器に対応する AUC 値はどれですか?
ランダム分類子は対角線を追跡し、AUC は 0.5 になります。 AUC 1.0 は完全であり、0.0 はすべてのランキングが正確に後方にあることを意味します。
AUC が「しきい値に依存しない」と表現されるのはなぜですか?
AUC は、すべてのしきい値をスイープすることによって生成される ROC 曲線全体を要約するため、選択された単一のカットオフには依存しません。
非常に不均衡なデータセットの場合、ROC が楽観的すぎるように見える可能性があるため、ROC と並行して、または ROC の代わりに推奨されることが多い曲線はどれですか?
まれに陽性となる問題では、真陰性が多数あるため偽陽性率が低く抑えられ、ROC が膨張します。適合率-再現率曲線はポジティブなクラスに焦点を当てており、パフォーマンスをより正直に明らかにします。
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.