과적합과 과소적합
과적합은 모델이 훈련 데이터를 기억하고 새로운 예에서 실패하는 경우입니다. 과소적합은 실제 패턴을 포착하기에는 너무 단순한 경우입니다.
개요
Hitting the sweet spot between them is the central challenge of machine learning.
심층 분석
모든 모델은 유한한 훈련 세트에 적합하지만, 목표는 보이지 않는 데이터에서도 잘 작동하는 것입니다. 과적합 모델은 훈련 세트의 노이즈와 이상한 점을 실제 신호인 것처럼 처리합니다. 훈련 데이터에서는 99%의 점수를 얻지만 테스트 세트에서는 70%로 축소될 수 있습니다. 과소적합 모델은 반대 문제입니다. 너무 경직되어 기본 구조를 포착할 수 없기 때문에 훈련 데이터와 테스트 데이터 모두에서 제대로 작동하지 않습니다. 훈련과 테스트 성능 사이의 격차는 숨길 수 없는 신호입니다. 과소적합은 모든 곳에서 높은 오류를 나타냅니다(높은 편향). 과적합은 훈련 오류가 낮지만 테스트 오류(높은 분산)로 나타납니다. 수정 사항이 반대 방향으로 당겨지기 때문에 기술은 어떤 문제가 있는지 인식하고 있습니다.
기술적 통찰력
과적합과 과소적합은 편향-분산 균형의 두 가지 끝입니다. 편향은 지나치게 단순화된 가정으로 인한 오류입니다. 분산은 특정 훈련 샘플에 너무 민감하여 발생하는 오류입니다. 작은 선형 모델은 편향이 높고 분산이 낮습니다(과소적합). 제약이 없는 거대한 모델은 편향이 낮고 분산(과적합)이 높습니다. 총 예상 오류는 대략 바이어스 제곱, 분산, 환원 불가능한 노이즈로 분해됩니다. 실무자는 훈련 세트의 정확도를 유지된 검증 세트와 비교하고 두 곡선이 갈라지는 위치를 관찰하여 문제를 감지합니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
과적합과 과소적합의 미래
이러한 개념은 여전히 기본이지만 매우 큰 신경망으로 인해 고전적인 그림이 복잡해졌습니다. 최신 모델은 데이터 포인트보다 훨씬 더 많은 매개변수를 가질 수 있지만 여전히 잘 일반화됩니다. 이는 과적합 피크 이후 테스트 오류가 다시 떨어지는 '이중 하강'이라고도 불리는 놀라운 방식입니다. 연구에서는 과도하게 매개변수화된 모델이 일반화되는 이유, 옵티마이저에서 암시적 정규화의 역할, 분포 변화에 대한 더 나은 자동 감지에 점점 더 초점을 맞추고 있습니다. 실제 데이터가 훈련 데이터에서 멀어짐에 따라 프로덕션의 과적합을 표시하는 더욱 풍부한 진단을 기대합니다.
실제 구현
특정 보낸 사람의 이름이 포함된 모든 이메일에 플래그를 지정하는 스팸 필터입니다. 해당 보낸 사람이 훈련 데이터에서 스팸을 많이 보내 새로운 스팸 발송자가 완전히 누락되었기 때문입니다(과적합).
면적만 사용하고 위치, 침실, 상태를 무시하는 주택 가격 모델이므로 값비싼 동네에서는 심하게 누락됩니다(과소적합).
질병 대신 병원의 스캐너 워터마크를 감지하는 방법을 학습하고 다른 병원에서는 실패하는 의료 영상 분류기(가짜 특징에 과적합)
훈련 중 훈련 손실과 검증 손실을 비교하고 훈련 손실이 계속 감소하는 동안 검증 손실이 증가하기 시작할 때 중지합니다(과적합을 조기에 포착).
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
과적합과 과소적합이 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
역전파
자주 묻는 질문
What is Overfitting and Underfitting?
과적합은 모델이 훈련 데이터를 기억하고 새로운 예에서 실패하는 경우입니다. 과소적합은 실제 패턴을 포착하기에는 너무 단순한 경우입니다. 둘 사이의 최적점을 맞추는 것이 머신러닝의 핵심 과제입니다.
모델은 훈련 데이터에서 98%의 점수를 얻었지만 유지 테스트 세트에서는 71%의 점수만 얻었습니다. 가장 가능성이 높은 문제는 무엇입니까?
학습 정확도는 높지만 테스트 정확도가 훨씬 낮은 큰 격차는 과적합의 전형적인 특징입니다. 즉, 모델이 일반 패턴이 아닌 학습 데이터에 노이즈를 맞추는 것입니다.
과소적합을 가장 잘 설명하는 시나리오는 무엇입니까?
과소적합 모델은 기본 패턴을 포착하기에는 너무 단순하므로 훈련된 데이터를 포함하여 모든 곳에서 제대로 작동하지 않습니다.
편향-분산 트레이드오프에서 높은 분산은 어떤 결과와 가장 관련이 있습니까?
분산이 크다는 것은 모델이 보는 정확한 훈련 데이터에 따라 모델이 많이 변경되어 과적합이 발생한다는 것을 의미합니다. 높은 편향은 그 반대이며 지나치게 단순화된 끝입니다.
대출 불이행 모델은 신청자의 연령만 사용하고 소득, 부채, 신용 기록은 무시합니다. 훈련 데이터와 새로운 데이터 모두에서 성능이 좋지 않습니다. 당신은 무엇을 해야 합니까?
모든 곳에서 성능이 좋지 않으면 과소적합을 나타냅니다. 해결 방법은 유용한 기능을 추가하여 모델 용량을 늘려 실제 관계를 나타낼 수 있도록 하는 것입니다.
과적합을 탐지하는 데 지속 검증 또는 테스트 세트가 필수적인 이유는 무엇입니까?
훈련 정확도만 보면 과적합이 보이지 않습니다. 보이지 않는 데이터를 평가하면 암기와 실제 일반화 사이의 격차가 드러납니다.