微调

它改变已学到的参数以适应行为。它不同于在提示中添加示例或在答题时检索文档，也不会自动保持事实信息的更新。

主要要点

• 定义适应的行为。
• 比较更简单的替代方案。
• 评估未完成任务的收益和回归。

定义需要改变的行为。一致的输出风格、专业的分类任务以及使用最新事实是不同的要求。提示或检索可能在无需训练任务的情况下解决部分问题。在添加模型维护工作前，先比较这些替代方案。构建反映预期行为并包含复杂案例的示例。将未完成的评估集与训练和调优决策分开。在使用数据集前，审查标签、重复记录、权限及任何机密信息。适应技术可根据方法更新所有参数或部分选定子集。内存减少或可训练参数减少并不消除对最终模型评估的需求。检查目标任务和应保持不变的能力。记录基础模型、数据版本、训练设置及检查点。在发布前评估部署成本、响应时间和回滚。当源知识发生变化时，决定是更新检索、修订数据集、重新训练或改变产品的证据工作流程。

1. 想象一下，一个支持助理知道如何清晰回答，但每周都需要更新一项政策。
2. 首先要测试当前政策的检索能力，而不是仅仅为了插入最新措辞而重新培训。
3. 如果实际问题是持续未能遵循稳定的响应格式，请比较提示变更和经过仔细评估的微调数据集。

这种建构性决策将证据的变化与学习行为的变化区分开来。