概述
结果取决于架构、分词器、基础检查点、合并配方和评估；合并并不保证能力能够顺利叠加。
深入探讨
模型合并将已训练模型的参数合并，通常通过平均权重或操作任务向量——即微调检查点与其基础模型的差异。任务算术、TIES、DARE 等方法可以在不重新进行梯度训练或使用原始训练集的情况下生成合并检查点。多数方法假设架构、参数布局和基础模型匹配。TIES 会修剪小幅变化、解决符号冲突并合并对齐的更新；DARE 在合并前随机丢弃并重新缩放任务向量条目。这些过程可以降低某些干扰，但并不保证模型更强：任务性能可能下降，合并系数或检查点兼容性需测试。请在每个目标任务上评估合并产物，并保留所有输入的来源和许可证。
现实世界的实施
将编码调整模型与聊天调整模型混合在一起，使法学硕士既可以自然地编写代码又可以自然地交谈，而无需重新培训。
进化合并实验将日语模型与英语数学模型相结合，产生强大的日语数学求解器。
从模型的权重中减去“毒性”任务向量，以减少有害输出，而无需收集新的安全数据。
将多个经过不同书写风格训练的 LoRA 适配器合并为一个可以灵活切换语气的模型。
模型合并的未来
预计合并将成为“供应链”模型的标准组成部分。集线器已经托管了数千个可合并的检查点，并且像 mergekit 这样的工具使食谱可以共享。研究正在转向自动合并搜索（选择逐层混合比率的进化算法）、跨略有不同的架构进行合并，以及即时合并专家混合组件。随着开放微调的激增，合并提供了一种近乎免费的方式来组合功能，尽管合并模型的许可和来源将需要更清晰的标准。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是模型合并？
一些模型合并方法通过权重空间算术合并兼容的微调检查点，无需额外的梯度训练或访问原始训练数据。结果取决于架构、分词器、基础检查点、合并配方和评估；合并并不保证能力能够顺利叠加。
模型合并主要结合什么？
模型合并直接对学习到的模型权重/参数进行操作，将它们融合成一组，而不是组合数据或运行时输出。
在描述的权重空间合并方法中，可以避免什么？
一些合并方法通过权重空间算术合并兼容的微调检查点，无需额外的梯度训练或原始训练数据。
TIES 合并和 DARE 在处理参数干扰方面有何不同？
TIES 在合并对齐更新前修剪小幅变化并解决符号冲突。DARE 随机丢弃任务向量条目并重新缩放保留的条目；它不使用 TIES 的符号共识步骤。
在任务算术中，系数在组合任务向量时控制什么？
任务算术使用选定系数将模型相对于基础检查点的增量组合；得到的模型仍需评估。
TIES 合并命名的三个主要阶段是什么？
TIES 论文将 Trim、Elect Sign 和 Merge 描述为减少任务向量之间干扰的步骤。