引导式测验 · 中等 等级
深度混合测验
测试 MoD 的学习令牌路由器、固定 top-k 容量、跳过令牌的剩余路径、静态形状和因果路由保护措施。
问题 1 的 8
不同代币的深度混合有何不同？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 不同代币的深度混合有何不同？
- 每个令牌接收多少计算量（哪些层）
- 使用的词汇
- 训练数据集
- 输出语言
- MoD 如何保持其计算预算可预测？
- 通过随机删除一半的模型权重
- 通过在每个块处理固定的前 k 部分代币
- 通过对每个句子使用不同的模型
- 通过完全禁用注意力
- 路由器在给定块中未选择的代币会怎样？
- 它们从序列中删除
- 它们被发送到一个单独的模型
- 他们通过剩余连接跳过该块，不变地通过
- 它们被转换为图像
- 哪个实验室发布了 Mixture of Depths 技术？
- 2019 年OpenAI
- 2015 年Meta
- 2012 年Microsoft
- Google DeepMind 2024 年
- 将 MoD 与 Mixture-of Experts 结合起来会产生什么结果？
- MoDE，兼顾深度和专家选择
- 没有参数的模型
- 纯卷积网络
- 仅标记器系统
- 为什么在 MoD 中固定的 top-k 优先于每个令牌阈值？
- 它使模型输出随机文本
- 它使张量形状保持静态，这在硬件上非常高效
- 它消除了培训的需要
- 它增加了词汇量
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens