가이드 연계 퀴즈 · 하드 레벨

SwiGLU 및 게이트 활성화 퀴즈

게이트 투영, SiLU 게이트, 매개변수-비용 절충, SwiGLU가 표준 MLP를 대체할 때 숨겨진 너비가 변경되는 이유를 테스트합니다.

관련 가이드 경로Swiglu 및 게이트 활성화
질문 1 의 8

Gated Linear Unit을 정의하는 핵심 작업은 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. Gated Linear Unit을 정의하는 핵심 작업은 무엇입니까?
    • 활성화된 두 번째 투영에 의한 하나의 투영의 요소별 곱셈
    • 두 개의 선형 투영을 함께 추가하기
    • 주의 헤드 연결
    • 활성화를 표준으로 나누기
  2. SwiGLU는 게이트 분기에 어떤 활성화 기능을 사용합니까?
    • ReLU
    • 스위시(SiLU)
    • 탄
    • 소프트맥스
  3. SwiGLU 피드포워드 블록은 몇 개의 가중치 행렬을 사용합니까?
    • 하나
    • 2개
    • 세
    • 4개
  4. 숨겨진 차원이 일반적으로 SwiGLU 레이어에서 약 2/3로 확장되는 이유는 무엇입니까?
    • 수치 정밀도를 향상하려면
    • 모델을 더 깊게 만들기 위해
    • 정규화의 필요성을 제거하려면
    • 추가 매트릭스에도 불구하고 표준 MLP와 비교 가능한 총 매개변수 및 FLOP를 유지하려면
  5. ReLU와 비교하여 Swish의 특징은 다음과 같습니다.
    • 부드럽고 단조롭지 않아 작은 네거티브 가능
    • 엄격하게 증가하고 1로 제한됩니다.
    • 시그모이드 함수와 동일
    • 양수 입력에 대해서만 정의됨
  6. 2020년에 변압기 피드포워드 레이어용 SwiGLU를 대중화한 사람은 누구입니까?
    • 제프리 힌튼
    • 노암 셰이저
    • 얀 르쿤
    • 안드레이 카르파티
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs