概述
灾难性遗忘是指神经网络学习一项新任务并突然失去执行已经掌握的任务的能力。这是构建持续学习而无需从头开始重新训练的人工智能的主要障碍。
灾难性遗忘是语言人工智能堆栈的一部分，用于大规模阅读、生成、分类和转换文本和语音。
深入探讨
神经网络将知识存储在共享权重中。当您在新任务上训练模型时，梯度更新会覆盖编码早期技能的参数，因此旧的性能可能会崩溃。这就是灾难性遗忘，也称为灾难性干扰，由 McCloskey 和 Cohen 于 1989 年首次记录。这种情况在顺序学习或连续学习中非常严重，数据是分阶段到达的，而不是全部混合在一起。例如，对法律文本进行大量微调可能会降低其一般对话能力。标准的强力修复方法是联合重新训练所有任务，但这成本高昂，并且假设您仍然拥有旧数据。相反，研究人员使用保护重要权重、重播过去的示例或添加特定于任务的参数的技术，所有这些都旨在让模型像人类一样积累知识。
技术洞察
遗忘的发生是因为在任务中重复使用相同的权重，并且新数据上的无约束梯度下降可以自由地移动它们。缓解措施包括弹性权重合并，它增加了惩罚，减缓了对旧任务重要的参数的变化（通过 Fisher 信息估计）。其他方法包括排练或体验重放（交错存储或生成的旧示例），以及参数隔离方法，例如适配器或 LoRA，它们冻结基本模型并添加小型新模块。
掌控灾难性遗忘
灾难性遗忘是指神经网络学习一项新任务并突然失去执行已经掌握的任务的能力。这是构建持续学习而无需从头开始重新训练的人工智能的主要障碍。灾难性遗忘是语言人工智能堆栈的一部分，用于大规模阅读、生成、分类和转换文本和语音。为了建立深入的理解，请将灾难性遗忘视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用灾难性遗忘的强大团队将提示、检索和审查循环设计为一个集成的通信系统。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时，幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
语言工作流程可以在不牺牲一致性的情况下更快地移动。
语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
它扩展了跨语言和沟通方式的访问。
它扩展了跨语言和沟通方式的访问。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
团队可以花更多时间进行判断，而自动化则可以处理重复。
团队可以花更多时间进行判断，而自动化则可以处理重复。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
对医疗文本进行大量微调的一般聊天机器人在休闲对话中会失去流畅性。
弹性权重合并让玩游戏的代理可以学习新的 Atari 游戏，而不会忘记旧的游戏。
团队使用 LoRA 适配器添加新的领域技能，同时保持冻结的基础模型的能力完好无损。
经验回放会存储过去的示例，并在新训练期间将它们交错以保留旧的性能。
实施模式
实践中的灾难性遗忘
对医疗文本进行大量微调的一般聊天机器人在休闲对话中会失去流畅性。
对医疗文本进行大量微调的一般聊天机器人会失去随意对话的流畅性。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
实践中的灾难性遗忘
弹性权重合并让玩游戏的代理可以学习新的 Atari 游戏，而不会忘记旧的游戏。
Elastic Weight Consolidation 让玩游戏的代理可以学习新的 Atari 游戏，而不会忘记旧的游戏。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的灾难性遗忘
团队使用 LoRA 适配器添加新的领域技能，同时保持冻结的基础模型的能力完好无损。
团队使用 LoRA 适配器添加新的领域技能，同时保持冻结的基础模型的功能完好无损。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
实践中的灾难性遗忘
经验回放会存储过去的示例，并在新训练期间将它们交错以保留旧的性能。
经验回放会存储过去的示例，并在新的训练期间将它们交错以保持旧的性能。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
当准确性很重要时，请使用可信来源进行地面响应。
当准确性很重要时，请使用可信来源进行地面响应。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险输出保留人工审查检查点。
为高风险输出保留人工审查检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪故障模式并定期重新训练提示或工作流程。
跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。