概述
它们是打开“黑匣子”并了解模型实际代表什么概念的领先技术之一。
深入探讨
在变压器内部，单个激活向量同时将数千个概念混合在一起，这使得它难以阅读。稀疏自动编码器是一个小型的两层网络，经过训练可以通过宽隐藏层重建这些激活，但具有稀疏性惩罚，迫使其众多神经元中的少数神经元一次被激活。由于这种压力，每个隐藏单元往往专注于一个概念，例如“提及金门大桥”或“Python 代码”。 2024 年，Anthropic 将其扩展为 Claude 3 Sonnet，提取了大约 3400 万个特征，OpenAI 和 DeepMind 发布了并行的 SAE 工作。然后，研究人员可以向上或向下固定某个功能，以因果性地测试它的作用。
现实世界的实施
Anthropic 的“金门 Claude”演示，其中放大单个 SAE 功能使模型在每次回复中都痴迷地引用这座桥
从 Claude 3 Sonnet 中提取并标记大约 3400 万个特征，以映射阿谀奉承、代码错误和不安全行为等概念
查找可在部署期间监控或引导的安全相关功能，例如欺骗、偏见或危险内容
通过检查给定提示上激活的可解释功能来调试模型对输入进行错误分类的原因
稀疏自动编码器的可解释性的未来
预计 SAE 将从研究好奇心转向实用的审计和安全工具，包括标记功能和检测欺骗性或不安全电路的仪表板。悬而未决的问题包括“特征分裂”（一个概念分裂成多个概念）、缺失特征以及在每一层前沿模型上训练 SAE 的成本。交叉编码器、转码器和俄罗斯套娃 SAE 等较新的方向旨在同时捕获跨层和多个粒度的计算。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是可解释性稀疏自动编码器？
稀疏自动编码器 (SAE) 是一种工具，可将神经网络错综复杂的内部激活分解为更大的一组更清晰、人类可解释的特征。它们是打开“黑匣子”并了解模型实际代表什么概念的领先技术之一。
在模型的激活上训练稀疏自动编码器的主要目的是什么？
SAE 通过宽阔、稀疏的隐藏层重建激活，以便各个单元倾向于对应于单个人类可理解的概念。
SAE 的稀疏性惩罚如何影响隐藏单元激活？
稀疏性鼓励特征选择活动，但不能保证每个概念一个神经元的完美表示。
2024 年将 SAE 扩展到 Claude 3 Sonnet 时，Anthropic 大约提取了多少个特征？
Anthropic 的 2024 年“Scaling Monosemanticity”工作从生产模型中提取了大约 3400 万个特征。
“金门Claude”演示展示了什么？
通过放大金门大桥的特征，研究人员使模型固定在桥上，显示特征是因果杠杆，而不仅仅是标签。
为什么 SAE 中的隐藏层通常比它重建的激活层宽得多？
模型将许多概念打包到有限的维度中（叠加）；一个过于完整、宽阔的 SAE 为每个概念空间提供了自己的单元。