조기 중단
조기 중지는 보류된 검증 데이터의 성능이 향상되지 않는 순간 모델 훈련을 중지하는 정규화 기술입니다.
개요
It prevents wasted compute and overfitting in one simple rule.
심층 분석
신경망을 훈련할 때 훈련 세트 오류는 에포크 이후 계속해서 에포크를 삭제하지만 어느 시점에서 모델은 패턴을 학습하는 대신 노이즈를 기억하기 시작합니다. 검증 오류는 U자 모양을 따릅니다. 오류는 떨어지고 최소값에 도달한 다음 과적합이 시작되면서 상승합니다. 조기 중지는 각 에포크 후에 검증 측정항목(손실, 정확도, F1)을 관찰하고 인내심이라고 하는 설정된 에포크 수 동안 개선되지 않으면 중지됩니다. 결정적으로, 마지막이 아닌 가장 좋은 시대의 가중치를 유지합니다. 이는 L2 정규화와 유사하게 추가 페널티 조건이 필요하지 않고 초기화에서 가중치가 표류하는 정도를 효과적으로 제한하기 때문에 가장 저렴한 정규화 형태 중 하나입니다.
기술적 통찰력
구현은 최고의 검증 점수와 카운터를 추적합니다. 매 에포크마다 지표가 min_delta 임계값 이상으로 향상되면 체크포인트를 저장하고 카운터를 재설정합니다. 그렇지 않으면 이를 증가시킵니다. 카운터가 인내심 한계에 도달하면 훈련이 중단되고 최상의 체크포인트가 복원됩니다. 인내심은 총 훈련 시간에 대해 시끄러운 검증 곡선과 견고성을 교환하며 일반적으로 학습 속도 및 배치 크기와 함께 조정됩니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
조기 중단의 미래
조기 중지는 거의 모든 훈련 파이프라인에서 기본값으로 남아 있지만 그 역할이 바뀌고 있습니다. 대규모 말뭉치에서 단일 시대에 대해 훈련된 매우 큰 모델을 사용하면 고전적인 시대 기반 중지가 토큰 예산 및 학습 속도 일정에 대한 모니터링으로 대체됩니다. 지속적인 훈련이 더 이상 컴퓨팅 및 탄소 비용을 정당화하지 못하는 시기를 결정하는 자동화된 하이퍼파라미터 검색, 다중 측정 기준 및 예산 인식 스케줄러와의 긴밀한 통합을 기대합니다.
실제 구현
이미지 분류자에서 인내=10 모니터링 val_loss 및 Restore_best_weights=True를 사용하는 Keras EarlyStopping 콜백
쓸모없는 트리 추가를 피하기 위해 AUC 검증이 정체될 때 그래디언트 부스트 트리(XGBoost early_stopping_rounds) 중지
검증 F1이 증가하지 않으면 BERT 감정 모델의 미세 조정을 중단하여 GPU 시간을 절약합니다.
유효성 검사 접기를 사용하여 조기 중지하고 로그 손실이 가장 낮은 체크포인트를 선택하는 Kaggle 경쟁사
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
조기 중단이 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하십시오.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Early Stopping quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
지진 조기 경보의 AI
자주 묻는 질문
What is Early Stopping?
조기 중지는 보류된 검증 데이터의 성능이 향상되지 않는 순간 모델 훈련을 중지하는 정규화 기술입니다. 하나의 간단한 규칙으로 컴퓨팅 낭비와 과적합을 방지합니다.
조기 중단은 언제 중단할지 결정하기 위해 주로 어떤 신호를 모니터링합니까?
조기 중지는 모델이 과적합되는 경우에도 훈련 손실이 계속 떨어지기 때문에 보류된 검증 지표를 감시합니다.
'인내' 매개변수는 무엇을 제어합니까?
인내심은 훈련이 중단되기 전에 개선이 허용되지 않고 시끄러운 검증 곡선을 평활화하는 시대의 수입니다.
조기 중지 트리거 후 일반적으로 어떤 가중치를 유지해야 합니까?
이미 과적합되었을 수 있는 마지막 에포크가 아닌 검증 점수가 가장 높은 에포크에서 체크포인트를 복원합니다.
조기 중단이 정규화의 한 형태로 간주되는 이유는 무엇입니까?
일찍 중지하면 가중치가 초기화에 더 가깝게 유지되며, 이는 가중치 감소와 비슷한 정규화 효과를 갖습니다.
'min_delta' 임계값은 일반적으로 무엇을 지정합니까?
min_delta는 인내심 카운터를 재설정하여 작은 변동이 실제 진행 상황처럼 보이지 않도록 방지하기 위해 개선해야 할 크기를 설정합니다.