가이드 연계 퀴즈 · 하드 레벨

RMSNorm 및 사전 레이어 정규화 퀴즈

이러한 독립적인 설계 선택을 혼동하지 않고 RMSNorm 통계, Pre-LN 배치, 잔여 경로 및 쿼리 키 정규화를 확인합니다.

관련 가이드 경로Rmsnorm 및 사전 레이어 정규화
질문 1 의 8

RMSNorm은 표준 LayerNorm과 비교하여 무엇을 생략합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. RMSNorm은 표준 LayerNorm과 비교하여 무엇을 생략합니까?
    • 평균 빼기(재중심화)
    • 학습된 척도 매개변수
    • 잔여 연결
    • 소프트맥스 연산
  2. RMSNorm은 각 활성화 벡터를 몇 량으로 나눕니까?
    • 그 차이
    • 제곱 평균 제곱근
    • 최대 절대값
    • L1 표준
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Pre-LN 블록에서 정규화 계층은 의도적으로 변경되지 않은 경로는 무엇입니까?
    • 피드포워드 가중치
    • 토큰 임베딩
    • 출력 소프트맥스
    • 잔여 (ID) 연결
  5. 기본적으로 RMSNorm을 사용하는 최신 개방형 모델 제품군은 무엇입니까?
    • LLaMA, 미스트랄, 퀀
    • AlexNet 및 VGG
    • ResNet과 인셉션
    • BERT 기반 및 원래 Transformer
  6. RMSNorm을 최근 적용한 'QK-norm'이란?
    • 최종 출력 로지트 정규화
    • 주의 쿼리 및 키에 RMSNorm을 적용하여 로짓 증가 제어
    • 키-값 캐시 양자화
    • 정규화를 완전히 건너뛰는 방법
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block