개요
Together they make deep transformers train stably without warmup tricks.
심층 분석
Standard LayerNorm은 특징 벡터 전체에서 평균을 빼고 표준 편차로 나눈 다음 학습된 배율 및 이동을 적용합니다. 2019년 Zhang과 Sennrich가 도입한 RMSNorm은 평균 중심화와 편향을 완전히 삭제합니다. 즉, 단순히 각 벡터를 해당 요소의 평균 제곱근으로 나누고 학습된 기능별 이득을 곱합니다. 이렇게 하면 하나의 통계와 여러 작업이 제거되어 정확도를 일치시키면서 표준 계층의 컴퓨팅 성능이 약 10~50% 감소합니다. 이와 별도로 'Pre-LN' 배치(주변에 깨끗한 잔여 경로가 있는 주의/MLP 이전 표준)는 초기화 시 경사 크기를 제한하여 유지하므로 GPT-3, LLaMA 및 PaLM과 같은 모델은 원래 Post-LN 변환기에 필요한 학습 속도 준비 해킹 없이 학습됩니다.
실제 구현
LLaMA, Mistral 및 Qwen은 모두 LayerNorm을 RMSNorm으로 대체하여 모든 토큰의 추론 대기 시간을 줄입니다.
Pre-LN을 사용하면 2017 Post-LN 변환기에 필요한 학습 속도 준비 없이 GPT 스타일 모델을 학습할 수 있습니다.
QK 정규화는 주의 쿼리 및 키에 RMSNorm을 사용하여 대규모 모델에서 로짓이 폭발하는 것을 방지합니다.
평균과 편향을 삭제하면 메모리 트래픽이 줄어들기 때문에 모바일 및 에지 변환기는 RMSNorm을 채택합니다.
RMSNorm 및 사전 레이어 정규화의 미래
RMSNorm은 이제 대부분의 개방형 LLM(LLaMA, Mistral, Qwen, Gemma)에서 기본값이므로 표준으로 유지될 것으로 예상됩니다. 연구에서는 레시피를 개선하고 있습니다. QK-norm은 주의 쿼리와 키에 RMSNorm을 적용하여 로짓 성장을 길들이고 일부 실험실에서는 사전 및 사후 표준('샌드위치' 또는 'peri-LN')을 결합하여 1조 매개변수 규모에서 추가 안정성을 제공합니다. 하드웨어 커널은 속도를 위해 작업을 계속 융합합니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the RMSNorm and Pre-Layer Normalization quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
What is RMSNorm and Pre-Layer Normalization?
RMSNorm은 평균 제곱근으로 활성화 크기를 조정하는 경량 정규화 계층이며, 사전 계층 정규화는 각 하위 계층 뒤가 아닌 이전 단계에 배치됩니다. 함께 그들은 워밍업 트릭 없이 딥 트랜스포머를 안정적으로 훈련시킵니다.
RMSNorm은 표준 LayerNorm과 비교하여 무엇을 생략합니까?
RMSNorm은 평균 계산 및 빼기를 건너뛰고 활성화의 평균 제곱근으로만 정규화합니다.
RMSNorm은 각 활성화 벡터를 몇 량으로 나눕니까?
RMSNorm은 제곱 요소 평균의 sqrt, 즉 제곱 평균 제곱으로 나눈 다음 학습된 이득을 적용합니다.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Pre-LN 블록에서 정규화 계층은 의도적으로 변경되지 않은 경로는 무엇입니까?
Pre-LN은 입력을 하위 레이어로 정규화하지만 잔여 지름길은 이를 우회하여 깨끗한 경사 고속도로를 유지합니다.
기본적으로 RMSNorm을 사용하는 최신 개방형 모델 제품군은 무엇입니까?
RMSNorm은 LLaMA, Mistral, Qwen, Gemma 및 최신 LLM의 표준 정규화가 되었습니다.