マルチクラス分類のソフトマックス回帰

バイナリ ロジスティック回帰では、線形スコアが確率に変換されます。 K 個の相互に排他的なクラスの場合、ソフトマックス回帰は各クラスに 1 つのスコアを割り当てます。各スコアは入力の線形関数であり、ソフトマックスはそれらのスコアを累乗し、各指数をその合計で除算します。これにより、合計が 1 になる非負のクラス確率が生成されます。通常、予測されたクラスは最大の確率を持つクラスですが、意思決定システムでは代わりにコストやレビューしきい値が使用される場合があります。仮想の 3 クラスのケースのスコアが 2、1、および 0 であるとします。それらの指数関数は約 7.39、2.72、および 1 です。合計は約 11.11 であるため、確率は約 0.665、0.245、および 0.090 になります。それぞれの値は同じ分母で正規化されているため、値の合計は 1 になります。スコアの差が重要です。すべてのクラスのスコアに同じ定数を加算すると、確率は変わりません。通常、トレーニングでは、対数損失とも呼ばれる多項クロスエントロピーが最小限に抑えられます。これにより、観測されたクラスに低い確率を割り当てることが不利になります。係数の大きさを制御するために正則化を追加できます。複数のクラスの場合、実装では係数を異なる方法でパラメータ化することができ、一部のソフトウェアでは特定の推定量に対して 1 対残りの戦略を使用します。すべてのマルチクラス ロジスティック モデルが同じ目的を最適化すると仮定する前に、選択した推定器のドキュメントをお読みください。ソフトマックス確率は自動的に調整されません。モデルは、系統的に自信過剰または自信不足であるにもかかわらず、最も可能性の高いクラスを正しくランク付けする場合があります。導入集団を反映するデータのクラス別再現率と精度、混同行列、対数損失、およびキャリブレーションを評価します。不均衡なクラスの場合、全体的な精度スコアによって、あまり一般的ではない結果の失敗が隠れて​​しまう可能性があります。また、出力配列内のカテゴリの順序がライブラリのクラス ラベルと一致していることを確認します。このメソッドは、各ケースがモデル化されたセットから 1 つのクラスを受け取ることを前提としています。複数のラベルが同時に発生する可能性があるマルチラベル問題では、異なる出力定式化が必要です。