MAP 추정 및 사전확률

베이지안 추론은 관찰된 데이터가 매개변수 값 아래에 있을 가능성을 설명하는 우도와 해당 데이터를 보기 전의 정보 또는 가정을 나타내는 사전 분포를 결합합니다. 베이즈 규칙은 이전 가능성 시간에 비례하는 사후 분포를 제공합니다. 최대 우도 추정(MLE)은 우도를 최대화하는 매개변수를 선택합니다. 최대 사후 추정(MAP)은 사후 밀도를 최대화하는 값을 선택합니다. 로그를 취하면 곱이 합계로 변합니다. 사후 로그는 로그 우도에 로그 사전에 매개변수에 의존하지 않는 정규화 상수를 더한 것과 같습니다. 따라서 사후를 최대화하는 것은 로그 가능성과 로그 사전을 최대화하는 것과 동일합니다. 사전의 중심이 0과 가우스인 경우 해당 로그 밀도는 제곱 계수 크기에 비례하는 음수 항에 기여합니다. 사후를 최대화하는 것은 우도 기반 손실과 L2 페널티를 최소화하는 것과 같습니다. Laplace 사전은 절대값 항에 기여하여 L1 스타일 페널티를 생성합니다. 정확한 동등성은 가능성, 사전 척도 및 목표가 매개변수화되는 방식에 따라 달라집니다. 가상의 소규모 데이터 회귀에서는 소수의 관측값만이 추정값을 도출하므로 MLE가 계수 8에 적합할 수 있습니다. 0 중심 사전은 MAP 추정치를 0으로 끌어올 수 있습니다. 이는 임의적인 수정이 아닙니다. 이는 더 작은 계수에 대한 선호를 나타냅니다. 사전 예측이 부적절할 경우 MAP 추정치는 해로운 방향으로 편향될 수 있습니다. 가정을 보고하고 타당한 대안에 따라 결론이 어떻게 변하는지 테스트합니다. MAP는 전체 사후 분포가 아닌 점 추정치를 반환합니다. 이는 최적화 및 정규화된 예측에 유용할 수 있지만 사후 구간이나 표본이 수행하는 방식으로 불확실성을 요약하지는 않습니다. 밀도가 좌표계에 따라 변환되므로 사후 모드는 매개변수화에 따라 달라질 수도 있습니다. 통합된 확률 질량이 가장 큰 매개변수 값과 확률 밀도의 모드를 구별합니다. 결정이 불확실성에 달려 있는 경우 MAP만 완전한 베이지안 분석으로 제시하기보다는 사후 분석을 검사하십시오.