교차 검증
교차 검증은 모델이 보이지 않는 데이터에 대해 얼마나 잘 일반화되는지 추정하기 위한 리샘플링 기술입니다.
개요
It makes better use of limited data and gives a more reliable performance estimate than a single train/test split.
심층 분석
단일 학습/테스트 분할은 취약합니다. 얻는 점수는 테스트 세트에 어떤 행이 있는지에 따라 크게 달라집니다. 교차 검증은 테스트 세트의 역할을 순환시켜 이 문제를 해결합니다. k-폴드 교차 검증에서는 데이터를 k개의 동일한 폴드로 분할하고, 그 중 k-1개에 대해 훈련하고, 유지된 폴드에 대해 평가하고, 모든 행이 정확히 한 번 테스트되도록 k번 반복합니다. k개 점수를 평균하면 보다 안정적인 추정치와 변동성 측정값을 얻을 수 있습니다. 일반적인 선택은 5배 또는 10배입니다. 변형에는 계층화된 k-겹(불균형 데이터에 대한 클래스 비율 보존), 일대일 이탈(k는 샘플 수와 같음), 과거를 예측하기 위해 미래를 학습하지 않는 시계열 분할이 포함됩니다.
기술적 통찰력
교차 검증은 모델 선택 및 초매개변수 조정에 가장 강력합니다. 하나의 분할에 과적합하는 대신 평균 검증 점수로 구성을 비교합니다. 중요한 함정은 데이터 유출입니다. 전체 데이터 세트(크기 조정, 기능 선택, 대치)를 '보는' 전처리는 분할 전이 아닌 각 접기 내부에 맞아야 합니다. 그렇지 않으면 추정치가 낙관적으로 편향됩니다. 중첩된 교차 검증은 이러한 누출을 방지하기 위해 튜닝과 최종 평가를 분리합니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
교차 검증의 미래
데이터 세트와 모델이 증가함에 따라 k개의 전체 훈련 주기를 실행하는 데 비용이 많이 들기 때문에 실무자들은 소규모 또는 표 형식 데이터 세트에 대한 교차 검증을 예약하는 동시에 딥 러닝을 위한 단일 대규모 유지 검증 세트를 점점 더 선호합니다. scikit-learn의 GridSearchCV 및 Optuna와 같은 자동화된 ML 및 도구는 기본적으로 교차 검증을 하이퍼파라미터 검색에 적용합니다. 더 저렴한 근사치, 누출 방지 파이프라인, 그룹화되고 계층적이며 시간 종속적인 데이터에 대한 적절한 검증에 대한 연구가 계속되고 있습니다.
실제 구현
하나의 모델을 적용하기 전에 5겹 교차 검증을 사용하여 로지스틱 회귀, 랜덤 포레스트 및 그래디언트 부스팅을 비교합니다.
불균형한 사기 탐지 데이터 세트에 계층화된 k-fold를 적용하여 각 폴드가 거의 동일한 희귀 등급 비율을 유지하도록 합니다.
모든 하이퍼파라미터 조합을 교차 검증하여 최상의 설정을 선택하는 GridSearchCV 또는 RandomizedSearchCV를 실행합니다.
시계열(롤링/포워드 체인) 교차 검증을 사용하여 미래 데이터에 대한 교육 없이 주식 또는 수요 예측자를 평가합니다.
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
교차 검증이 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cross-Validation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
크로스 인코더와 바이 인코더
자주 묻는 질문
What is Cross-Validation?
교차 검증은 모델이 보이지 않는 데이터에 대해 얼마나 잘 일반화되는지 추정하기 위한 리샘플링 기술입니다. 제한된 데이터를 더 잘 활용하고 단일 학습/테스트 분할보다 더 안정적인 성능 추정치를 제공합니다.
표준 k-겹 교차 검증에서 각 데이터 포인트는 테스트에 몇 번 사용됩니까?
각 접기는 k 라운드에서 정확히 한 번만 테스트 세트로 사용되므로 모든 샘플은 한 번만 테스트되고 나머지는 훈련됩니다.
단일 학습/테스트 분할에 비해 k-겹 교차 검증의 주요 이점은 무엇입니까?
교차 검증은 여러 겹에 걸쳐 평균을 계산함으로써 하나의 임의 분할에 의존하는 것과 비교하여 성능 추정의 분산을 줄입니다.
시계열 예측에 일반 k-겹 교차 검증이 부적합한 이유는 무엇입니까?
시간순으로 정렬된 데이터를 섞으면 미래가 훈련에 유출되므로 시계열 CV는 과거 관찰에 대해서만 훈련하는 순방향 연결 분할을 사용합니다.