发生了什么
三名研究人员发布了一份 arXiv 预印本，报告了对 350 亿参数混合专家模型的逐层敏感性研究，禁用低量级专家并在跨语言代码翻译基准上测量输出质量。他们报告说，早期和中间层在掩蔽下急剧退化，而最后五层则容忍一半的专家关闭。
Pradeep Kumar Sharma、Shantanu Godbole 和 Hritvik Shrivastava 在 arXiv 上发布的预印本（arXiv:2608.13565，列在人工智能项下，于 2026 年 6 月 25 日提交）报告了对混合专家语言模型的系统分层敏感性分析。该论文提出的目标是 Qwen3.6-35B-A3B，摘要将其描述为具有 40 个混合专家层、每层 256 个专家和 top-8 路由——总共 10,240 个专家，其中每层每个令牌激活 8 个专家。评估任务是XLCoST，一个跨语言代码翻译基准。根据摘要，实验在三台 H100 GPU 服务器上以 100、300 和 500 提示规模运行。
该技术被描述为基于幅度的专家屏蔽：专家按权重幅度进行排名，并且选定的一组层中排名最低的专家被关闭，以便路由无法再选择他们。摘要将“身体体重手术”列为未来的工作，这表明蒙面专家在这些实验中被禁用而不是从记忆中删除。作者将平面策略（在每一层中屏蔽相同的部分）与将屏蔽集中在后面层的深度目标策略进行了比较。
摘要中报告的标题数字是可比较的。对所有层中 30% 的专家进行平面屏蔽，在 300 个提示范围内保留了 300 个被评为“良好+相似”的输出中的 150 个。后期重点政策保留了 300 名专家中的 249 名至 255 名，同时掩盖了 640 名至 1,145 名专家。在后来的 500 个提示保留验证切片中，测试的最窄策略（第 35 层到第 39 层，屏蔽率为 50%）保留了 500 个 Good+Similar 输出中的 419 个，同时屏蔽了 10,240 名专家中的 640 名，大约占模型专家的 6%。作者将早期层（0-9）和中间层（10-29）描述为高度脆弱，将非常晚期层（35-39）描述为最耐受的。
该论文还报告了一个单独的杠杆：将路由宽度从每个代币八个活跃专家减少到六个。在 100 次提示的探测中，摘要描述了“观察到的大量挂钟减少”，并且没有损失 Good+Similar 输出，但明确指出这种变化“尚未与积极的专家屏蔽完全结合”——也就是说，这两项节省并不是简单地相加。
有几件事不是由现有材料确定的。此评估基于 arXiv 摘要和列表页面，而不是完整的 PDF。摘要没有报告未屏蔽的基线分数，因此无法从中确定 500 个结果中的 419 个结果可归因于屏蔽的份额；它没有定义如何将产出评级为“良好”或“相似”，或者由谁或什么进行评级；它没有量化挂钟的减少；它报告没有节省内存；并且它没有与现有的专家混合修剪方法进行比较。该列表没有显示同行评审或期刊接受的迹象。
为什么这很重要
专家混合模型是廉价扩展大型语言模型的主要方法，但对于可以削减哪些专家，几乎没有确定的指导。研究结果表明，直观的默认设置（以相同的速率修剪每一层）可能是给定预算下最糟糕的选择，尽管论文掩盖了专家而不是删除他们，因此硬件节省仍未得到证实。
专家混合架构现在是向大型语言模型添加参数的标准方法，而无需按比例增加每个令牌的计算量：每个令牌只有一小部分专家触发。这种设计在开放重量和商业模型中迅速传播，但它改变了压缩问题。经典剪枝研究针对密集网络，其中每个权重都参与每个前向传递。在稀疏模型中，问题不仅在于削减多少，还在于削减在哪里——而且该领域关于哪些专家在哪些层实际承载负载的公开指南相对较少。
这里的实际主张是关于该分配的。统一修剪是明显的默认设置，在这个模型和基准测试中，它的表现最差：30% 的固定策略损失了大约一半的可用输出，而掩盖相当或更多专家数量的深度目标策略则保留了 80% 以上的可用输出。如果这种模式普遍适用，那么对于任何压缩专家混合模型的人来说，这都是一个廉价的改变——对要接触的层的不同选择，而不是新的训练运行或架构。深度感知分配也很容易针对现有管道进行测试。
这种影响的局限性是真实存在的，并且该论文对其中之一也很坦诚。掩盖专家会阻止其被使用；它不会释放其权重占用的内存。对于专家混合服务，内存通常是绑定约束，因为所有专家都必须驻留，即使每个令牌很少触发。在重量被物理移除并重新测量之前，报告的结果只是冗余的证据，而不是已证明的效率胜利。作者将减肥手术视为下一步，而不是完成的一步。
对于研究之外的读者来说，关键在于这些模型可以在哪里运行。压缩是有能力的模型到达较小硬件（单个服务器、本地部署、笔记本电脑）而不是租用集群的主要途径之一。但质量成本很重要：即使在报告的最佳配置中，大约六分之一的输出也不属于良好+相似类别，并且如果没有未屏蔽的基线，就不可能说出屏蔽造成的差距有多大。代码翻译也是一项有明确正确性概念的任务；那里的结果不会自动转化为开放式写作或推理。
深度发现在方向上与更广泛的可解释性工作一致，表明后来的变压器层比早期的变压器层具有更多的冗余，这对基本表示有更大的提升。一致性不是确认。这是一个模型、一个基准系列和一个屏蔽标准，来自预印本，其完整方法尚未经过独立检查。
互动机制：它实际上是如何运作的
以交互方式探索这一发展背后的基础技术。
In AI, what are a model's "parameters"?
接下来看什么
决定性的后续行动是，一旦权重被物理移除，掩码是否会转换为真实内存并节省延迟，以及深度模式是否适用于其他专家混合家族和代码翻译之外的任务。另外值得关注的是：公开的基线和评分方法、代码发布以及任何同行评审的披露。
最明确的测试是屏蔽是否能在与硬件接触后幸存下来。作者将体重手术称为下一步；后续行动将删除 640 名已确定的专家并报告测量的内存占用、吞吐量和延迟，从而将冗余声明转变为效率声明。如果移除几乎没有节省任何费用——由于专家权重的布置或分片方式——即使敏感性发现成立，实际情况也会大大减弱。
概括是第二个问题。该研究涵盖了单一专家混合模型，每层有 256 名专家，并且采用 top-8 路由。相同的深度梯度是否出现在具有不同专家数量、布线宽度、共享专家设计或训练配方的模型中尚未进行测试。任务覆盖范围也是如此：代码翻译是一个基准系列，而保持代码输出完整的屏蔽仍然可能会损害多语言性能、长上下文行为或多步骤推理。
方法论披露对于解释这些数字很重要。关注未掩盖的基线、良好和相似等级的精确定义以及分配它们的人员或内容、缩小路由所减少的挂钟大小，以及基于幅度的选择是否优于作者列为未来工作的基于激活的专家评分。代码和屏蔽配置的发布将让其他人直接复制比较。
抽象标志的组合问题本身就值得跟踪。路由宽度减少和专家屏蔽是不同的节省机制，论文报告称它们尚未完全堆叠。一种将它们结合起来而又不会造成质量损失的方法将比单独使用任何一种方法更为重要；他们从根本上干扰的发现将是一个同样有用的负面结果。
最后，还有一个未触及的差距：该研究根据代码基准衡量输出质量，但没有提及与安全相关的行为。压缩改变了模型的作用，并且没有解决深度目标掩蔽是否会影响拒绝、校准或越狱的敏感性。任何部署屏蔽模型的人都需要单独评估，后续工作报告将是一个有意义的补充。