가이드 연계 퀴즈 · 하드 레벨

혼합 및 희소 모델 퀴즈

Mixtral 라우팅, 전문가 활성화, 전체 매개변수와 활성 매개변수, 희소 모델의 실제 메모리 및 배포 장단점을 검토합니다.

관련 가이드 경로혼합 및 희소 모델
질문 1 의 8

Mixtral 8x7B에서 각 개별 토큰을 처리하는 전문가는 몇 명입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. Mixtral 8x7B에서 각 개별 토큰을 처리하는 전문가는 몇 명입니까?
    • 전문가 2명
    • 8명의 전문가 모두
    • 정확히 한 명의 전문가
    • 매번 임의의 숫자
  2. 토큰이 어떤 전문가에게 전송되는지 결정하는 구성 요소는 무엇입니까?
    • 토크나이저
    • 라우터(게이팅 네트워크)
    • 관심 레이어
    • 임베딩 테이블
  3. Mixtral 8x7B에는 약 470억 개의 총 매개변수가 있지만 토큰당 활성 매개변수는 대략 몇 개입니까?
    • 약 470억
    • 약 70억
    • 약 130억
    • 약 700억
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Mistral AI는 어떤 라이선스로 Mixtral을 출시하여 공개 채택을 촉진했나요?
    • 아파치 2.0
    • 독점, 비공개 소스 전용
    • GPL v3
    • 크리에이티브 커먼즈 비상업적
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • 훈련 데이터가 필요하지 않습니다.
    • Supervised fine-tuning and direct preference optimization (DPO)
    • GPU가 완전히 필요하지 않습니다.
    • 모델이 절대 실수하지 않도록 보장합니다.
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • 전문가 2명
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish