정규화
정규화는 훈련 세트를 기억하는 대신 새로운 데이터로 일반화하도록 모델을 의도적으로 제한하는 기술 세트입니다.
개요
It is the main toolkit for fighting overfitting.
심층 분석
선택하지 않은 채로 두면 유연한 모델은 노이즈를 포함하여 훈련 데이터의 모든 지점에 맞게 자체적으로 비틀어집니다. 정규화는 더 간단한 솔루션을 선호하는 페널티나 제약 조건을 추가하여 뒤로 물러납니다. 가장 일반적인 형태는 모델의 가중치 크기를 기반으로 손실 함수에 항을 추가합니다. L2 정규화(가중치 감소)는 큰 가중치에 부드럽게 페널티를 적용하여 가중치를 0으로 줄이고 더 부드러운 모델을 생성합니다. L1 정규화는 가중치의 절대값에 페널티를 주고 일부를 0으로 만들어 기능의 하위 집합을 효과적으로 선택할 수 있습니다. 가중치 페널티 외에도 드롭아웃은 훈련 중에 무작위로 뉴런을 끄고, 조기 중단은 세트를 과적합하기 전에 훈련을 중단하며, 데이터 확대는 효과적인 훈련 세트를 확장합니다. 각각은 훨씬 더 나은 실제 성능을 위해 약간의 훈련 정확도를 교환합니다.
기술적 통찰력
대부분의 정규화는 최적화 프로그램이 최소화하는 목표를 재구성합니다. 예측 오류를 최소화하는 대신 오류를 최소화하고 람다가 강도를 제어하는 가중치에 대한 페널티를 람다에 곱합니다. L2는 가중치 제곱의 합을 더해 많은 작은 가중치를 장려합니다. L1은 절대 가중치의 합을 추가하여 정확한 0으로 희소성을 장려합니다. 드롭아웃은 다르게 작동합니다. 각 단계에서 무작위로 활성화를 0으로 설정하여 뉴런이 공동 적응하는 것을 방지하고 하위 네트워크 앙상블 훈련을 근사화합니다. 이들 모두는 편향이 약간 증가하는 대신 분산을 줄입니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
정규화의 미래
L2 및 드롭아웃과 같은 명시적 페널티는 여전히 표준으로 남아 있지만, 확률적 경사하강법과 같은 최적화 프로그램이 대규모 모델을 추가 페널티 없이도 일반화 가능한 솔루션 쪽으로 조용히 편향시키는 방식인 암시적 정규화로 관심이 옮겨지고 있습니다. 라벨 평활화, 혼합, 강력한 데이터 증대와 같은 기술은 대규모 비전 및 언어 모델을 훈련하는 데 점점 더 중요해지고 있습니다. 과도하게 매개변수화된 네트워크가 과적합을 방지하는 이유와 수동 검색에 의존하지 않고 훈련 중에 정규화 강도를 자동으로 조정하는 적응형 방법에 대한 더 많은 연구가 기대됩니다.
실제 구현
수천 장의 교육 사진부터 보이지 않는 사진까지 일반화할 수 있도록 심층 이미지 분류기에 L2 가중치 감소를 추가합니다.
유전체학 모델에서 L1 정규화를 사용하여 실제로 수천 개의 결과를 예측하는 소수의 유전자를 자동으로 선택합니다.
단일 사용자 신호에 과도하게 의존하지 않도록 추천 네트워크에 드롭아웃을 적용합니다.
훈련 손실이 계속 감소할 수 있더라도 검증 손실이 개선되지 않으면 조기에 훈련을 중지합니다.
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
정규화가 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
가중치 감소 및 L2 정규화
자주 묻는 질문
What is Regularization?
정규화는 훈련 세트를 기억하는 대신 새로운 데이터로 일반화하도록 모델을 의도적으로 제한하는 기술 세트입니다. 과적합을 방지하기 위한 주요 툴킷입니다.
정규화의 주요 목표는 무엇입니까?
정규화는 모델이 훈련 데이터를 기억하지 못하도록 의도적으로 제한하여 보이지 않는 예에 대한 성능을 향상시킵니다.
일부 가중치를 정확히 0으로 유도하여 효과적으로 특성을 선택할 가능성이 가장 높은 정규화 기술은 무엇입니까?
L1은 자동 기능 선택을 수행하여 덜 유용한 가중치를 정확히 0으로 밀어내는 경향이 있는 가중치의 절대값에 페널티를 적용합니다. L2는 가중치를 부드럽게 축소하지만 정확히 0이 되는 경우는 거의 없습니다.
드롭아웃은 훈련 중에 신경망을 어떻게 정규화합니까?
드롭아웃은 각 훈련 단계마다 활성화의 일부를 무작위로 0으로 설정하여 뉴런이 서로 너무 많이 의존하는 것을 방지하고 하위 네트워크의 앙상블을 근사화합니다.
정규화된 손실 '오류 + 람다 × 페널티'에서 람다 증가는 무엇을 합니까?
Lambda는 정규화 강도를 제어합니다. 람다가 클수록 페널티에 더 많은 영향을 미치고 단순한 모델에 대해 가중치를 더 적극적으로 줄입니다.
조기 중단을 정규화의 한 형태로 간주할 수 있는 이유는 무엇입니까?
검증 성능이 향상되지 않을 때 중지하면 다른 정규화 도구가 복잡성을 제한하는 것처럼 모델이 노이즈를 기억하는 영역으로 계속 진행되는 것을 방지할 수 있습니다.