평균 정밀도 및 PR-AUC

정밀도는 선택된 사례 중 몇 개가 긍정적인지 묻습니다. Recall은 전체 긍정적 사례 중 몇 개가 선택되었는지 묻습니다. 모델의 점수 임계값이 낮아지면 더 많은 케이스가 선택한 세트에 입력됩니다. 임계값이 낮아진다고 재현율이 줄어들 수는 없지만 새로 포함된 사례에 따라 정밀도가 높아지거나 낮아질 수 있습니다. 정밀도-재현율 곡선은 이러한 상충관계를 추적합니다. 이는 선택된 항목 중 얼마나 많은 항목이 잘못된 경보인지 직접 노출하므로 희귀 양성 클래스에 특히 유용합니다. 수신기 작동 특성 곡선은 분모에 실제 부정이 모두 포함되는 위양성 비율을 사용하여 다른 질문에 답합니다. 두 관점 모두 실제 결정 비용을 고려할 필요성을 제거하지 않습니다. 평균 정밀도는 해당 재현율 증가에 따라 정밀도 값에 가중치를 부여하여 정밀도-재현율 관계를 요약합니다. 동점 점수가 없는 단순 순위에서는 긍정적인 사례가 차지하는 순위의 평균 정밀도와 같습니다. 두 개의 긍정적인 결과가 첫 번째와 세 번째에만 나타난다고 가정해 보겠습니다. 해당 위치의 정밀도는 1/3이므로 평균 정밀도는 약 0.833입니다. PR-AUC 레이블은 모호할 수 있습니다. 일부 보고서는 재현율에 대한 정밀도의 사다리꼴 통합을 의미합니다. 다른 사람들은 평균 정밀도를 위해 느슨하게 사용합니다. Scikit-learn은 사다리꼴 규칙을 적용하는 auc와 Average_precision_score를 구별합니다. 보간 가정이 다르기 때문에 이러한 값은 다를 수 있습니다. 실제 계산을 기술하십시오. 정확성은 평가 모집단의 양성 비율에 따라 달라집니다. 균형 잡힌 표본의 점수는 긍정적인 결과가 거의 나오지 않는 배포 설정을 설명하지 못할 수도 있습니다. 긍정적인 부분과 평가 설계를 보고합니다. 마지막으로 임계값에 대한 요약에서는 작동 임계값을 선택하지 않습니다. 모델이 실제로 사용될 시점에서 정밀도, 재현율, 작업량 등을 검사합니다.