诺斯研究
Nous Research 是一家社区驱动的人工智能实验室，以将流行的开放模型微调为能力更强、限制较少的助手以及推动去中心化培训而闻名。
概述
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
深入探讨
Nous Research 通过采用开放基础模型（尤其是 Meta 的 Llama 系列和 Mistral）并将其微调到广泛使用的 Hermes 和 Capybara 系列中而声名鹊起。他们的 OpenHermes 和 Nous Hermes 模型成为 Hugging Face 上下载次数最多的微调之一，因其强烈的指令遵循性和强调可操纵性而不是严重的拒绝行为而受到好评。除了微调之外，Nous 还解决了一个难题：分布式训练。他们的 DisTrO 研究和 Demo 优化器旨在削减 GPU 之间所需的通信带宽，而 Psyche 网络则探索在地理分散、联网的硬件上训练大型模型。他们还尝试了使用工具和以推理为中心的模型，将自己定位在开放、去中心化人工智能的前沿。
技术洞察
大多数 Nous 模型都不是从头开始训练的；他们使用精心策划的合成和人类数据集，在开放基础权重之上应用监督微调和偏好优化（如 DPO）。他们的分布式训练工作解决了带宽瓶颈：通常 GPU 必须每一步交换巨大的梯度更新。 DisTrO/DemoMo 压缩并解耦这些更新，以便节点可以通过普通互联网链接一起训练，而不需要紧密耦合的数据中心互连。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
诺斯研究的未来
Nous 押注开放人工智能的未来是去中心化的，计算将集中在许多独立贡献者身上，而不是集中在几个超大规模集群中。如果他们的低带宽训练方法能够扩展，社区就可以集体训练前沿模型。预计功能强大的开放助手的持续发布、对 Psyche 分布式网络的更深入投资以及面向推理的模型。他们的工作可以有意义地降低在大型科技公司之外训练大型模型的障碍。
现实世界的实施
开发人员在本地运行 Nous Hermes 和 OpenHermes 模型，以实现私密、可操控的聊天助手，无需 API 成本。
研究人员在探索带宽高效的分布式模型训练时引用了 Nous 的 DisTrO 和 Demo 方法。
爱好者和小公司对 Nous 发布的数据集进行微调，以构建特定领域的助手。
Psyche 网络用于跨地理分布的志愿者 GPU 试验训练模型。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Nous Research?
Nous Research 是一家社区驱动的人工智能实验室，以将流行的开放模型微调为能力更强、限制较少的助手以及推动去中心化培训而闻名。它展示了小团队加上开源社区如何在不拥有大量基础设施的情况下在模型质量上进行竞争。
Nous Research 在早期崛起时最出名的是什么？
Nous 通过将 Llama 和 Mistral 等开放模型微调到流行的 Hermes 系列中而获得了认可。
Nous 最常对哪些基本模型进行微调？
Nous 的 Hermes 和 Capybara 系列基于开放式底座模型，特别是 Llama 和 Mistral。
Nous 的 DisTrO 和 Demo 项目解决什么问题？
DisTrO 和 Demo 优化器旨在削减通常所需的 GPU 间带宽，从而能够通过普通互联网链接进行训练。
什么是 Psyche 网络？
Psyche 是 Nous 的去中心化训练网络，探索如何汇集分散的 GPU 来训练大型模型。
Nous 通常使用什么技术来调整其微调模型？
Nous 使用精选数据集在开放基础权重之上应用监督微调和偏好优化。