개요
이를 통해 모델의 긍정적인 예측이 얼마나 자주 맞는지, 실제로 얼마나 많은 실제 긍정적인 부분을 포착하는지 등 평범한 정확도가 숨기고 있는 것이 무엇인지 드러냅니다.
심층 분석
모델이 항목을 긍정적으로 표시하면 두 가지 질문이 중요합니다. Precision은 다음과 같이 묻습니다. 우리가 신고한 모든 것 중 실제로 긍정적인 것은 얼마나 됩니까? 이는 실제 긍정을 예측된 모든 긍정으로 나눈 값과 같으며 잘못된 경보에 페널티를 적용합니다. 리콜(민감도)은 다음과 같이 묻습니다. 세상에 있는 모든 실제 긍정적인 것 중에서 우리가 포착한 것은 몇 개입니까? 이는 참 긍정을 모든 실제 긍정으로 나눈 값과 같으며 누락에 대한 페널티를 부여합니다. 이는 일반적으로 상충됩니다. 결정 임계값을 낮추면 더 많은 긍정적인 항목을 포착하지만(높은 재현율) 정크 플래그를 더 많이 표시하며(낮은 정밀도) 그 반대도 마찬가지입니다. 우선 순위는 비용에 따라 다릅니다. 스팸 필터는 정확성(실제 메일을 폐기하지 않음)을 선호하는 반면, 암 검사는 회상(종양을 놓치지 않음)을 선호합니다. 조화 평균인 F1 점수는 둘 다 하나의 숫자로 균형을 이룹니다.
실제 구현
스팸 필터는 높은 정확성을 위해 조정되므로 합법적인 이메일이 스팸 폴더로 잘못 전송되는 경우가 거의 없습니다.
의료 선별 검사는 실제로 질병이 있는 환자를 놓치는 것을 방지하기 위해 높은 재현율을 우선시하고 후속 조치를 위해 더 많은 위양성을 허용합니다.
검색 및 추천 시스템은 순위 품질을 측정하기 위해 정밀도@k(상위 k개 결과 중 관련성이 있는 수)를 보고합니다.
사기 탐지는 F1 점수를 통해 정밀도와 재현율의 균형을 유지합니다. 잘못된 경보와 누락된 사기 모두 비용이 많이 들기 때문입니다.
정밀도와 재현율의 미래
AI가 의료 진단, 콘텐츠 조정, 사기 등 위험도가 높은 영역에 진입함에 따라 팀에서는 정확성만 보고하는 것이 아닌 정밀도와 재현율(및 해당 곡선)을 점점 더 많이 보고하고 실제 비용 및 공정성 제약 조건에 맞게 임계값을 조정합니다. 그룹별 정밀도/재현율 감사는 인구통계 전반에 걸쳐 서로 다른 오류율을 감지하기 위한 표준이 되고 있습니다. 이해관계자가 기본 0.5 임계값을 수락하는 대신 대화형으로 운영 지점을 선택할 수 있도록 하는 더욱 풍부하고 비용에 민감한 지표, 보정된 확률 및 도구를 기대합니다.
실천에 옮기기
왜 중요한가요?
- 더 명확한 결정들. 이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
- 비용 및 예산. 돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
- 팀과 워크플로우. 이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
조심하세요
- 팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
- 벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
- 데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
다음 단계
- 필요한 결과에 대한 일반 언어 정의부터 시작하세요.
- 테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
- 세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
- 정밀도와 재현율이 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Precision and Recall quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
정밀도와 재현율이란 무엇입니까?
정밀도와 재현율은 특히 클래스가 불균형한 경우 분류기를 평가하기 위한 두 가지 보완 측정항목입니다. 이를 통해 모델의 긍정적인 예측이 얼마나 자주 맞는지, 실제로 얼마나 많은 실제 긍정적인 부분을 포착하는지 등 평범한 정확도가 숨기고 있는 것이 무엇인지 드러냅니다.
Precision은 어떤 질문에 답합니까?
정밀도 = TP / (TP + FP)는 모델의 긍정적인 예측의 정확성, 즉 긍정적인 플래그가 얼마나 신뢰할 수 있는지를 측정합니다.
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.