MAP 推定と事前分布

ベイズ推論では、観測されたデータがパラメーター値の下でどの程度の確率であるかを示す尤度を、それらのデータを見る前の情報または仮定を表す事前分布と組み合わせます。ベイズ規則は、事前の尤度に比例した事後分布を与えます。最尤推定 (MLE) では、尤度を最大化するパラメーターが選択されます。最大事後推定 (MAP) では、事後密度を最大化する値が選択されます。対数をとると積が和に変わります。つまり、事後対数は、対数尤度、事前対数、パラメーターに依存しない正規化定数を加えたものと等しくなります。したがって、事後関数を最大化することは、対数尤度に事前対数を加えたものを最大化することと同じです。事前分布がゼロとガウスを中心とする場合、その対数密度は係数の 2 乗の大きさに比例する負の項に寄与します。事後関数の最大化は、尤度ベースの損失と L2 ペナルティを最小化することに対応します。ラプラス事前分布は絶対値項に寄与し、L1 スタイルのペナルティを生成します。正確な同等性は、可能性、事前スケール、および目的がどのようにパラメータ化されるかによって異なります。仮説的な小規模データ回帰では、少数の観測値のみが推定値を決定するため、MLE は係数 8 に適合する可能性があります。ゼロ中心事前分布により、MAP 推定値がゼロに近づく可能性があります。これは恣意的な補正ではなく、より小さい係数を優先することを表しています。その事前分布が不適切な場合、MAP 推定は有害な方向に偏る可能性があります。仮定を報告し、もっともらしい代替案の下で結論がどのように変化するかをテストします。 MAP は完全な事後分布ではなく、点推定を返します。これは最適化や正規化された予測に役立ちますが、事後間隔やサンプルのように不確実性を要約するものではありません。密度は座標系に応じて変換されるため、事後モードはパラメータ化に依存することもあります。確率密度の最頻値を、最大の積分確率質量を持つパラメータ値から区別します。決定が不確実性に依存する場合は、完全なベイジアン分析として MAP のみを提示するのではなく、事後分析を検査します。