概述
Sakana AI 是一家位于东京的实验室，它将受自然启发的方法应用于人工智能，最引人注目的是使用进化算法将现有的开放模型合并为新的、更好的模型。它不是从头开始训练，而是通过自动结合模型的优势来“培育”模型。
Sakana AI 进化模型合并在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到了最好的理解。
深入探讨
Sakana AI 于 2023 年由 Llion Jones（《Attention Is All You Need》Transformer 论文的共同作者）和 David Ha（Google Brain 的前成员）于 2023 年创立。这个名字在日语中的意思是“鱼”，反映了一种受鱼群和群体启发的哲学：许多小型的集体代理，而不是一个巨大的模型。其突破性技术“进化模型合并”使用进化搜索来发现如何组合多个预训练开源模型的权重和层。该算法探索了数千种合并方案，保留在目标任务上得分较高的组合。 Sakana 利用这一点，通过合并现有模型，创建了强大的日语、日语数学和视觉模型，而成本只是训练新模型的一小部分。该公司还生产了“人工智能科学家”，这是一个试图使研究本身自动化的系统。
技术洞察
模型合并混合了单独训练的网络的参数。 Sakana 的演化同时在两个空间中进行合并：参数空间（如何逐层加权和插值每个模型的权重）和数据流空间（从哪些模型堆叠以及以什么顺序堆叠）。进化算法提出候选配方，在基准上对其进行评估，然后选择和变异最好的配方，无需基于梯度的训练即可迭代出高性能混合配方。
掌握 Sakana AI 进化模型合并
Sakana AI 是一家位于东京的实验室，它将受自然启发的方法应用于人工智能，最引人注目的是使用进化算法将现有的开放模型合并为新的、更好的模型。它不是从头开始训练，而是通过自动结合模型的优势来“培育”模型。 Sakana AI 进化模型合并在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到了最好的理解。为了建立深入的理解，请将 Sakana AI 进化模型合并视为一种操作模型，而不是单个功能：定义期望的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用 Sakana AI 进化模型合并的强大团队会在提交之前评估供应商策略、路线图可靠性和锁定风险。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
供应商路线图会影响您的团队接下来可以构建的功能。与此同时，发布公告可能会超过实际生产工作流程的稳定性。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
供应商路线图会影响您的团队接下来可以构建的功能。
供应商路线图会影响您的团队接下来可以构建的功能。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
商业条款和部署选项会影响长期成本和风险。
商业条款和部署选项会影响长期成本和风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
公司激励措施塑造了产品默认、安全态势和开放性。
公司激励措施塑造了产品默认、安全态势和开放性。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
通过合并英语和日语开放模型而无需重新训练，创建强大的日语语言模型
通过发展数学专业模型的组合来构建日本数学推理模型
生成一个视觉语言模型，通过跨域合并处理图像中的日语文本
让较小的组织从开放权重中廉价地组装特定于任务的模型，而不是从头开始训练
实施模式
Sakana AI进化模型合并实践
通过合并英语和日语开放模型而无需重新训练，创建强大的日语语言模型。
通过合并英语和日语开放模型而无需重新训练，创建强大的日语语言模型 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
Sakana AI进化模型合并实践
通过发展数学专业模型的组合来构建日本数学推理模型。
通过不断发展数学专业模型的组合来构建日本数学推理模型当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
Sakana AI进化模型合并实践
生成一个视觉语言模型，通过跨域合并处理图像中的日语文本。
生成通过跨域合并处理图像中的日语文本的视觉语言模型 团队在预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Sakana AI进化模型合并实践
让较小的组织从开放权重中廉价地组装特定于任务的模型，而不是从头开始训练。
让较小的组织从开放权重中廉价地组装特定于任务的模型，而不是从头开始训练当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
使用您自己的任务和数据集评估提供商。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在集成之前查看隐私、安全和法律条款。
在集成之前查看隐私、安全和法律条款。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
维护跨模型或供应商的后备计划。
维护跨模型或供应商的后备计划。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
监控发行说明，以便路线图的更改不会让团队感到意外。
监控发行说明，以便路线图的更改不会让团队感到意外。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。