가이드 연계 퀴즈 · 중간 레벨

깊이 퀴즈의 혼합

MoD의 학습된 토큰 라우터, 고정된 상위 k 용량, 건너뛴 토큰의 잔여 경로, 정적 형태 및 인과적 라우팅 보호 장치를 테스트합니다.

토큰에 따라 깊이의 혼합이 어떻게 달라지나요?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

토큰에 따라 깊이의 혼합이 어떻게 달라지나요?
- 각 토큰이 받는 컴퓨팅 양(계층)
- 사용된 어휘
- 훈련 데이터세트
- 출력 언어
MoD는 어떻게 컴퓨팅 예산을 예측 가능하게 유지합니까?
- 모델 가중치의 절반을 무작위로 떨어뜨림으로써
- 각 블록에서 고정된 상위 k 부분의 토큰을 처리하여
- 각 문장마다 다른 모델을 사용하여
- 주의를 완전히 비활성화함으로써
특정 블록에서 라우터가 선택하지 않은 토큰은 어떻게 되나요?
- 시퀀스에서 삭제됩니다.
- 별도의 모델로 전송됩니다.
- 잔여 연결을 통해 블록을 건너뛰고 변경되지 않은 상태로 통과합니다.
- 이미지로 변환됩니다
Which lab published the Mixture of Depths technique?
- 2019년에 OpenAI
- 2015년에 Meta
- 2012년 Microsoft
- Google 2024년의 DeepMind
MoD와 전문가 혼합을 결합하면 무엇을 얻을 수 있나요?
- 깊이와 전문가의 선택을 모두 고려한 MoDE
- 매개변수가 없는 모델
- 순수한 컨벌루션 네트워크
- 토크나이저 전용 시스템
MoD에서 토큰별 임계값보다 고정된 상위 k가 선호되는 이유는 무엇입니까?
- 모델이 임의의 텍스트를 출력하게 만듭니다.
- 텐서 형태를 정적으로 유지하므로 하드웨어에 효율적입니다.
- 교육이 필요하지 않습니다.
- 어휘력이 늘어납니다
What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens