Lasso と Elastic Net 回帰

通常の最小二乗法では、二乗予測誤差を最小限に抑える係数が選択されます。 Lasso は、絶対係数の大きさの合計に比例するペナルティを追加することで、その目的を変更します。ペナルティは縮小を促進し、絶対値ペナルティにはゼロのコーナーがあるため、一部の近似係数が正確にゼロになる可能性があります。これにより、保存や検査が容易になる疎モデルが作成されます。スパース性は、保持された予測変数が因果関係がある、または独自に重要であることを証明するものではありません。エラスティック ネットは、L1 ペナルティと 2 乗した L2 ペナルティを組み合わせます。その混合パラメーターはバランスを制御します。一般的なパラメーター化では、純粋な L1 エンドポイントは投げ縄ですが、純粋な L2 エンドポイントはリッジです。 L2 部分は、1 つを恣意的に保持して残りを破棄するのではなく、相関する予測子間で重みを共有するのに役立ちます。全体的な強度パラメータは、どの程度の収縮が適用されるかを制御します。正確なソフトウェア パラメーターの規則は異なるため、ライブラリのドキュメントをお読みください。アウトリーチのほぼ互換性のある 2 つの尺度を備えた仮説モデルを考えてみましょう。 Lasso は一方を保持し、もう一方をゼロにすることができます。トレーニング サンプルに少し変更を加えるだけで、その選択が覆される可能性があります。弾性ネットは係数を低減して両方を保持することができます。どちらの動作も、コンパクトさ、予測の安定性、解釈可能性のいずれが目標であるかに応じて役立ちます。結果が非常に異なるスケールで測定される場合、または特徴が異なる単位を使用する場合、前処理が適切でない限り、ペナルティの効果は不均等になります。トレーニング データ内の相互検証を使用してペナルティ設定を選択し、モデルの選択が完了するまで最終的なテスト セットを変更しないようにします。漏れを避けるために、スケーリング、代入、および特徴の選択は各トレーニングフォールド内で個別に適合させる必要があります。時間に依存するデータの場合は、時系列を考慮した分割を使用します。予測パフォーマンスを評価し、妥当なリサンプル全体での係数の安定性を検査します。 Lasso と Elastic Net は、正規化された線形予測のためのツールです。間違った関数形式、偏ったデータ、またはトレーニング母集団と意図された用途の間の不一致を修正するものではありません。