Sakana AI 进化模型合并
Sakana AI 是一家位于东京的实验室，它将受自然启发的方法应用于人工智能，最引人注目的是使用进化算法将现有的开放模型合并为新的、更好的模型。
概述
它不是从零开始训练，而是通过自动组合模型的优势来“培育”模型。
深入探讨
Sakana AI 于 2023 年由 Llion Jones（《Attention Is All You Need》Transformer 论文的共同作者）和 David Ha（Google Brain 的前成员）于 2023 年创立。这个名字在日语中的意思是“鱼”，反映了一种受鱼群和群体启发的哲学：许多小型的集体代理，而不是一个巨大的模型。其突破性技术“进化模型合并”使用进化搜索来发现如何组合多个预训练开源模型的权重和层。该算法探索了数千种合并方案，保留在目标任务上得分较高的组合。 Sakana 利用这一点，通过合并现有模型，创建了强大的日语、日语数学和视觉模型，而成本只是训练新模型的一小部分。该公司还生产了“人工智能科学家”，这是一个试图使研究本身自动化的系统。
技术洞察
模型合并混合了单独训练的网络的参数。 Sakana 的演化同时在两个空间中进行合并：参数空间（如何逐层加权和插值每个模型的权重）和数据流空间（从哪些模型堆叠以及以什么顺序堆叠）。进化算法提出候选配方，在基准上对其进行评估，然后选择和变异最好的配方，无需基于梯度的训练即可迭代出高性能混合配方。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
Sakana AI 进化模型融合的未来
进化合并暗示了未来，新的有能力的模型可以从不断增长的开放模型库中廉价地组装出来，从而使具有巨大计算预算的实验室之外的访问民主化。与 Sakana 的自动化“人工智能科学家”相结合，长期愿景是人工智能系统帮助发现自身的改进。悬而未决的问题包括避免继承错误或偏见的合并模型，以及进化搜索是否能够扩展到前沿水平的性能，而不是主要专门化现有模型。
现实世界的实施
通过合并英语和日语开放模型而无需重新训练，创建强大的日语语言模型
通过发展数学专业模型的组合来构建日本数学推理模型
生成一个视觉语言模型，通过跨域合并处理图像中的日语文本
让较小的组织从开放权重中廉价地组装特定于任务的模型，而不是从头开始训练
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是Sakana AI进化模型合并？
Sakana AI 是一家位于东京的实验室，它将受自然启发的方法应用于人工智能，最引人注目的是使用进化算法将现有的开放模型合并为新的、更好的模型。它不是从头开始训练，而是通过自动结合模型的优势来“培育”模型。
Sakana AI 的进化模型合并到底有什么作用？
它发展了组合多个预训练开放模型的权重和层的方法，而不是重新训练。
Sakana AI 的著名联合创始人是谁？
Llion Jones 是《Attention Is All You Need》一书的合著者，他与 David Ha 共同创立了 Sakana。
“Sakana”这个名字的含义和反映是什么？
Sakana 的意思是鱼；与单一模式相比，该公司更青睐许多小型集体代理。
Sakana 演化模型融合了哪两个空间？
它搜索如何加权/插值参数以及要堆叠哪些层以及以什么顺序。
除了模型合并之外，Sakana 还引入了哪些雄心勃勃的系统？
Sakana 发布了“人工智能科学家”，这是一个试图将部分研究过程本身自动化的系统。