概述
叠加是神经网络通过将特征打包到重叠方向来存储比神经元更多的概念的技巧。多语义性是明显的症状：单个神经元同时对许多不相关的事物做出反应，这正是模型内部结构如此难以阅读的原因。
叠加和多义性是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。
深入探讨
现实世界的数据包含比层的维度更有意义的特征，因此网络会压缩它们。在叠加中，该模型将特征表示为激活空间中几乎正交的方向，而不是为每个特征分配一个神经元。这是可行的，因为大多数功能都是稀疏的（很少同时活动），因此偶尔的干扰是可以接受的成本。结果是多语义神经元：Anthropic 的“叠加玩具模型”（2022）显示单个神经元会针对猫脸、汽车前面和某些文本模式等进行放电。重要的是，网络可以执行比神经元更多的计算，但前提是特征足够稀疏，碰撞很少见。
技术洞察
从几何角度来说，如果必须在 m 维中存储 n 个特征，且 n 大于 m，则无法使它们全部正交。该模型将它们排列为许多几乎正交的向量，接受小的干扰。玩具模型揭示了结构化几何形状，例如对映体对和五边形。稀疏性是启用条件：当只有少数特征同时触发时，预期的干扰保持在较低水平，因此表示额外特征的好处超过了噪音。
掌握叠加和多义性
叠加是神经网络通过将特征打包到重叠方向来存储比神经元更多的概念的技巧。多语义性是明显的症状：单个神经元同时对许多不相关的事物做出反应，这正是模型内部结构如此难以阅读的原因。叠加和多义性是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。为了建立深入的理解，请将叠加和多义性视为一种操作模型，而不是单一特征：定义期望的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，强大的团队使用叠加和多义性来根据可靠性和成本优化架构、数据和基础设施选择。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
多年来，架构决策决定着性能和运营成本。与此同时，优化一个基准测试可以隐藏更广泛的系统弱点。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
多年来，架构决策决定着性能和运营成本。
多年来，架构决策决定着性能和运营成本。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
更好的工程选择可以减少生产中的可靠性事故。
更好的工程选择可以减少生产中的可靠性事故。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
Anthropic 的 2022 年“叠加玩具模型”显示随着稀疏性的增加，受控的特征包装
InceptionV1 中的视觉神经元对多个不相关的物体做出反应，这是多语义的典型案例
解释为什么探测单个语言模型神经元会给出跨主题的令人困惑的、混合的结果
激励稀疏自动编码器，其专门用于将叠加激活分解回单个概念
实施模式
实践中的叠加和多义性
Anthropic 的 2022 年“叠加玩具模型”显示随着稀疏性的增加，受控的特征包装。
Anthropic 的 2022 年“叠加玩具模型”显示随着稀疏性的增加，受控的功能包装团队通常会在预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时获得更好的结果。
实践中的叠加和多义性
InceptionV1 中的视觉神经元对多个不相关的物体做出反应，这是多语义的典型案例。
InceptionV1 中的视觉神经元对多个不相关的对象做出响应，这是多语义的典型案例。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
实践中的叠加和多义性
解释为什么探测单个语言模型神经元会给出跨主题的令人困惑的、混合的结果。
解释为什么探测单个语言模型神经元会在各个主题中给出令人困惑、混合的结果。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
实践中的叠加和多义性
激励稀疏自动编码器，它专门用于将叠加的激活分解回单个概念。
激励稀疏自动编码器，其专门用于将叠加的激活分解回单个概念。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实施之前定义延迟、质量和成本目标。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在实际负载和数据条件下进行基准测试。
在实际负载和数据条件下进行基准测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
仪器监控错误、漂移和用户影响。
仪器监控错误、漂移和用户影响。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在扩展之前准备回滚和事件响应路径。
在扩展之前准备回滚和事件响应路径。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。