MoE 제공 퀴즈의 전문가 병렬성

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 전문가 병렬 처리는 GPU 전체에 무엇을 분배합니까?
   • 중복성을 위한 전체 모델의 사본
   • 개별 주의 헤드만
   • MoE 계층의 다양한 피드포워드 전문가
   • 임베딩 테이블의 레이어
2. MoE 전문가 병렬화의 핵심은 어떤 통신 패턴입니까?
   • 2개의 종합교환(파견 및 합치기)
   • 단일 방송
   • 지점 간 그라데이션 동기화
   • 의사소통은 필요하지 않습니다
3. MoE가 총 매개변수가 엄청남에도 불구하고 토큰당 컴퓨팅을 낮게 유지하는 이유는 무엇입니까?
   • 가중치를 1비트로 압축합니다.
   • 주의 레이어를 건너뜁니다.
   • 전문가들은 모든 가중치를 공유합니다.
   • 토큰별로 선택된 상위 전문가만 실행됩니다.
4. 라우팅이 데이터에 의존하기 때문에 어떤 문제가 발생합니까?
   • 그라데이션 폭발
   • 일부 전문가가 훨씬 더 많은 토큰을 얻는 부하 불균형
   • 라우터를 훈련할 수 없습니다.
   • 토큰의 위치 임베딩이 손실됩니다.
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. 시스템은 전체 단계의 지연 시간을 어떻게 숨깁니까?
   • 대신 CPU에서 실행
   • 결합 단계를 제거하여
   • 학습률을 높여서
   • 전문적인 연산과 소통을 겹쳐서
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory