개요
좋은 초기화는 빠른 수렴과 학습하지 않는 모델의 차이입니다.
심층 분석
훈련하기 전에 모든 가중치에는 시작 값이 필요합니다. 모두 0으로 설정하는 것은 치명적입니다. 동일한 가중치는 동일한 기울기를 생성하므로 뉴런은 결코 차별화되지 않습니다. 이것이 대칭 파괴 문제입니다. 무작위 초기화는 대칭성을 깨뜨리지만 규모는 엄청나게 중요합니다. 너무 크면 활성화 및 그라데이션이 폭발합니다. 너무 작아서 사라집니다. 원칙적 방식은 레이어 크기에 따라 분산을 선택하여 레이어 전체에서 신호 분산을 거의 일정하게 유지합니다. Xavier(Glorot) 초기화는 입력 및 출력 단위의 수에 따라 분산을 조정하며 tanh 및 Sigmoid 네트워크에 적합합니다. He(Kaiming) 초기화는 입력 수에 따라 확장되며 ReLU가 입력의 절반을 버리는 것을 설명하여 ReLU 기반 딥 넷 및 CNN의 표준이 됩니다. 좋은 초기화는 정규화 및 적응형 최적화 프로그램이 인계될 때까지 초기 훈련을 안정적으로 유지합니다.
실제 구현
ReLU 활성화를 사용하는 CNN은 He 초기화로 초기화되므로 깊은 컨벌루션 스택은 신호 소실 없이 학습됩니다.
tanh 활성화가 있는 네트워크는 Xavier 초기화를 사용하여 여러 계층에서 활성화 분산을 안정적으로 유지합니다.
실수로 모든 가중치를 0으로 초기화한 엔지니어는 모든 뉴런이 동일하게 유지되기 때문에 네트워크가 학습하지 못하는 것을 확인합니다.
프레임워크 기본값(PyTorch의 Kaiming, Keras의 Glorot 유니폼)은 레이어가 생성될 때 자동으로 원칙에 따른 초기화를 적용합니다.
가중치 초기화의 미래
정규화 계층과 잔여 연결로 인해 훈련이 정확한 초기화에 덜 민감해졌지만 매우 깊거나 정규화가 없는 네트워크에서는 여전히 중요합니다. 활발한 연구에는 변환기 및 주의에 맞춰진 체계, 정규화 계층 없이 네트워크를 훈련시킬 수 있는 방법, 동적 등거리 측정 및 초기화만으로 훈련 가능성을 예측하는 신경 탄젠트 커널과 같은 이론이 포함됩니다. 샘플 배치에서 스케일을 교정하는 데이터 종속 초기화는 또 다른 성장 방향입니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Weight Initialization quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
가중치 초기화란 무엇입니까?
훈련이 시작되기 전에 신경망의 시작 가중치를 설정하는 방법으로, 신호와 경사도가 심층 계층을 통해 건강하게 유지되는지 여부를 결정합니다. 좋은 초기화는 빠른 수렴과 학습하지 않는 모델의 차이입니다.
모든 가중치를 0으로 초기화하는 것이 왜 치명적인 실수입니까?
동일한 가중치를 사용하면 모든 뉴런이 동일한 출력과 기울기를 계산하므로 동일하게 업데이트되며 레이어는 서로 다른 특징을 학습할 수 없습니다.
그(Kaiming) 초기화는 어떤 활성화 기능을 위해 특별히 설계되었습니까?
초기화에서는 ReLU가 입력의 약 절반을 0으로 만드는 것을 보상하기 위해 분산을 2/fan_in만큼 확장합니다.
원칙적인 가중치 초기화 방식의 주요 목표는 무엇입니까?
Xavier 및 He와 같은 계획은 레이어 크기에서 가중치 변화를 선택하므로 신호가 전파될 때 신호가 사라지거나 폭발하지 않습니다.
Xavier(Glorot) 초기화는 어떤 활성화를 사용하는 네트워크에 가장 적합합니까?
Xavier는 tanh 및 sigmoid와 같은 대칭적이고 포화된 활성화에 대해 순방향 및 역방향 분산의 균형을 유지합니다.
He 초기화에서 1/fan_in이 아닌 2/fan_in의 분산을 사용하는 이유는 무엇입니까?
ReLU는 양수 입력만 전달하고 신호의 약 절반을 버리므로 분산을 두 배로 늘리면 예상되는 활성화 분산이 복원됩니다.