概述
数据中毒通过篡改训练数据来破坏模型，而后门攻击隐藏了一个秘密触发器，使模型在命令下行为不当。它们很重要，因为模型越来越多地从攻击者可以悄悄污染的抓取的众包数据中学习。
数据中毒和后门攻击属于人工智能的社会和治理层，其中政策、问责制和公众信任会产生长期影响。
深入探讨
中毒攻击分为两个主要目标。可用性攻击旨在通过注入错误标记或损坏的示例来降低整体准确性。有针对性的后门攻击更加隐蔽：该模型在正常输入上表现完美，但每当出现隐藏触发器（例如小像素补丁、特定短语或不可见水印）时，就会产生攻击者选择的输出。 BadNets 的工作展示了一个停车标志分类器，它将标有贴纸的标志读取为“速度限制”。现代系统之所以暴露，是因为它们是在网络规模的数据上进行训练的。研究人员证明，购买一小部分数据集 URL 背后的过期域名可能会花费数百美元来毒害流行的图像数据集。语言模型也可以通过有毒的微调数据或指令示例来设置后门。
技术洞察
干净标签后门尤其危险：中毒的样本保留正确的标签，并且在人类审阅者看来正常，但它们嵌入了模型学习与目标类别关联的触发功能。在推理时，呈现触发器会翻转预测，同时干净的准确性保持较高水平，因此标准验证永远不会捕获它。防御措施包括激活聚类、光谱特征、触发重建和数据来源检查。
掌控数据中毒和后门攻击
数据中毒通过篡改训练数据来破坏模型，而后门攻击隐藏了一个秘密触发器，使模型在命令下行为不当。它们很重要，因为模型越来越多地从攻击者可以悄悄污染的抓取的众包数据中学习。数据中毒和后门攻击属于人工智能的社会和治理层，其中政策、问责制和公众信任会产生长期影响。为了建立深入的理解，请将数据中毒和后门攻击视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用数据中毒和后门攻击的强大团队将能力增长与治理、安全和明确的问责结构结合起来。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
社会决策决定了谁受益、谁承担风险。与此同时，广泛的主张可能比证据和负责任的监督传播得更快。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
社会决策决定了谁受益、谁承担风险。
社会决策决定了谁受益、谁承担风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
公共机构、学校和企业都依赖于明确的人工智能治理。
公共机构、学校和企业都依赖于明确的人工智能治理。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
良好的政策设计可以在不阻碍有用创新的情况下提高安全性。
良好的政策设计可以在不阻碍有用创新的情况下提高安全性。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
当存在小贴纸触发器时，自动驾驶汽车将停车标志误认为限速标志的视觉模型
通过劫持托管部分图像 URL 的过期域，以低廉的成本毒害公共图像数据集
对代码完成模型进行后门处理，隐藏提示短语使其插入不安全的代码
破坏垃圾邮件过滤器的众包培训反馈，使特定的恶意电子邮件漏网
实施模式
实践中的数据中毒和后门攻击
当存在小贴纸触发器时，自动驾驶汽车将停车标志误认为限速标志的视觉模型。
当存在小贴纸触发器时，自动驾驶汽车将停车标志误认为限速标志的视觉模型当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪随着时间的推移提高的生产力和错误成本时，通常会得到更好的结果。
实践中的数据中毒和后门攻击
通过劫持托管部分图像 URL 的过期域，以低廉的成本毒害公共图像数据集。
通过劫持托管一小部分图像 URL 的过期域，以低廉的成本毒害公共图像数据集 当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的数据中毒和后门攻击
对代码完成模型进行后门处理，隐藏提示短语使其插入不安全的代码。
对代码完成模型进行后门处理，隐藏提示短语使其插入不安全的代码。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会得到更好的结果。
实践中的数据中毒和后门攻击
破坏垃圾邮件过滤器的众包培训反馈，使特定的恶意电子邮件漏网。
破坏垃圾邮件过滤器的众包培训反馈，使特定的恶意电子邮件溜过当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
广泛的主张可能比证据和负责任的监督传播得更快。
当损害发生时，治理薄弱可能会留下责任空白。
当准入、透明度和审查受到限制时，权力就会集中。
实施路线图
确定受影响的利益相关者和最重要的危害。
确定受影响的利益相关者和最重要的危害。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
设定数据、模型和决策的透明度要求。
设定数据、模型和决策的透明度要求。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险系统添加独立审查或红队测试。
为高风险系统添加独立审查或红队测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
随着功能和使用模式的发展更新策略和控制。
随着功能和使用模式的发展更新策略和控制。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。