가중치 감소 및 L2 정규화
가중치 감소는 훈련 중에 모델의 가중치를 0으로 조정하여 모델이 단일 특성에 너무 많이 의존하지 않도록 하는 간단하고 강력한 기술입니다.
개요
It reduces overfitting and is one of the most widely used regularizers in deep learning.
심층 분석
모델이 학습할 때 학습 세트에 완벽하게 맞지만 일반화 수준이 낮은 크고 미세 조정된 가중치를 늘려 데이터의 노이즈를 포착할 수 있습니다. L2 정규화는 손실 함수에 가중치 제곱의 합에 비례하는 페널티를 추가하여 이 문제를 해결합니다. 이제 옵티마이저에는 두 가지 목표가 있습니다. 즉, 데이터를 맞추고 가중치를 작게 유지하여 더 부드럽고 강력한 솔루션을 찾는 것입니다. 가중치 감소는 각 업데이트 단계에서 모든 가중치를 작은 부분으로 줄이는 것과 밀접하게 관련된 아이디어입니다. 일반 경사하강법을 사용하면 두 가지가 수학적으로 동일하지만 Adam과 같은 적응형 최적화 프로그램을 사용하면 서로 다릅니다. 이것이 경사 기반 업데이트에서 붕괴를 분리하고 올바르게 작동하도록 하기 위해 AdamW가 도입된 이유입니다.
기술적 통찰력
L2 정규화는 람다에 가중치 제곱합을 곱한 값을 손실에 추가하므로 기울기는 각 가중치에 비례하는 항을 추가하여 이를 0으로 끌어당깁니다. 대신 분리된 가중치 감소는 각 가중치에 (1 빼기 학습 속도 곱하기 람다)와 같은 요소를 직접 곱합니다. 적응형 방법에서 L2를 손실에 결합하면 매개변수별 스케일링으로 인해 페널티가 왜곡되므로 AdamW는 수축을 별도로 적용하여 더 작은 가중치에 대한 의도된 균일한 당김을 복원합니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
체중 감소와 L2 정규화의 미래
가중치 감소는 대규모 언어 모델 및 비전 변환기에 대한 훈련 레시피의 기본 요소로 남아 있으며, 이제 AdamW는 이를 위한 표준 최적화 프로그램입니다. 모델이 성장함에 따라 붕괴의 유효 강도가 변하기 때문에 붕괴가 학습률 일정, 정규화 레이어 및 모델 규모와 어떻게 상호 작용하는지에 대한 연구가 계속되고 있습니다. 자동화된 하이퍼파라미터 검색 및 확장 법칙 연구가 성숙해짐에 따라 보다 원칙적인, 레이어별 또는 일정 인식 감쇠 조정을 기대합니다.
실제 구현
과적합을 억제하기 위해 이미지 분류기를 훈련할 때 PyTorch의 AdamW 또는 SGD 최적화 프로그램에 Weight_decay 추가
상관 특성에 대한 예측을 안정화하기 위해 고전적인 L2 페널티 선형 모델인 능선 회귀에서 람다 계수 조정
학습 속도 일정과 함께 작은 가중치 감소(종종 약 0.1)를 설정하는 대규모 언어 모델 사전 학습 레시피
체중 감소와 데이터 증가 및 드롭아웃을 결합하여 작은 의료 영상 모델이 제한된 훈련 스캔을 기억하지 못하도록 합니다.
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
Weight Decay 및 L2 정규화가 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Weight Decay and L2 Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
정규화
자주 묻는 질문
What is Weight Decay and L2 Regularization?
가중치 감소는 훈련 중에 모델의 가중치를 0으로 조정하여 모델이 단일 특성에 너무 많이 의존하지 않도록 하는 간단하고 강력한 기술입니다. 이는 과적합을 줄이고 딥러닝에서 가장 널리 사용되는 정규화 도구 중 하나입니다.
L2 정규화는 손실 함수에 무엇을 추가합니까?
L2 정규화는 가중치 제곱합에 람다를 곱한 값을 더하여 가중치가 크면 페널티를 주고 더 작고 부드러운 솔루션을 장려합니다.
체중 감량이 예방하는 데 도움이 되는 주요 문제는 무엇입니까?
가중치를 작게 유지하면 가중치 감소로 인해 모델이 노이즈를 피팅하지 못하게 되어 새 데이터에 대한 일반화가 향상됩니다.
무게 감소가 모델의 무게를 어느 방향으로 밀어내나요?
가중치 감소는 업데이트할 때마다 가중치를 0으로 축소하므로 가중치 '감소'라고도 합니다.
AdamW가 도입된 이유는 무엇입니까?
Adam에서 L2를 손실로 접는 것은 매개변수별 스케일링과 나쁜 상호작용을 합니다. AdamW는 의도된 균일한 수축을 복원하기 위해 붕괴를 별도로 적용합니다.
일반 확률적 경사하강법의 경우 L2 정규화와 가중치 감소는 어떤 관련이 있나요?
일반 SGD를 사용하면 손실에 L2 페널티를 추가하면 가중치를 직접 줄이는 것과 동일한 업데이트가 생성되므로 두 가지가 동일합니다.