전문가의 혼합 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 전문가 혼합 레이어에서 어떤 전문가가 특정 토큰을 처리하는지 결정하는 것은 무엇입니까?
   • 전문가의 점수를 매기는 소규모 학습 라우터(게이팅 네트워크)
   • 훈련 전에 설정된 고정 조회 테이블
   • 사용자의 프롬프트 길이
   • 모든 단계에서 무작위 추첨
2. MoE 모델이 토큰당 비용을 높이지 않고도 밀도 모델보다 훨씬 더 많은 총 매개변수를 가질 수 있는 이유는 무엇입니까?
   • 매개변수를 단일 공유 가중치로 압축합니다.
   • Attention 레이어를 완전히 건너뜁니다.
   • 각 토큰에는 소수의 전문가(top-k)만이 활성화됩니다.
   • 모든 전문가를 실행하지만 결과의 평균을 냅니다.
3. MoE 교육 중 로드 밸런싱(보조) 손실은 어떤 문제를 해결합니까?
   • 컨텍스트 창에 비해 토큰이 너무 깁니다.
   • 라우터는 소수의 전문가를 과도하게 사용하고 나머지는 고갈시킵니다.
   • Attention Head에서 그라데이션이 사라지는 현상
   • 검증 세트에 과적합
4. Mixtral 8x7B는 토큰당 전문가 8명 중 2명을 활성화합니다. 이는 컴퓨팅과 크기에 대해 무엇을 의미합니까?
   • 모든 토큰에 대해 8명의 전문가의 컴퓨팅을 모두 사용합니다.
   • 7B 밀도 모델보다 총 매개변수 수가 적습니다.
   • GPU에서는 전혀 실행될 수 없습니다
   • 토큰당 활성 컴퓨팅은 총 매개변수 수가 제안하는 것보다 훨씬 작습니다.
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0.5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters