概述
EleutherAI 是一个草根非营利研究团体，当前沿人工智能被锁在公司墙后时，它开创了开源大型语言模型。它证明了志愿者社区可以构建并自由发布与封闭系统相媲美的模型，从而重塑谁可以参与人工智能研究。
EleutherAI 在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到最好的理解。
深入探讨
EleutherAI 于 2020 年 7 月成立，是由 Connor Leahy、Sid Black 和 Leo Gau 组织的 Discord 社区，最初旨在复制 OpenAI 的 GPT-3。为了训练此类模型，他们首先构建并发布了 The Pile，这是一个 825GB 的精选文本数据集，已成为标准的开放训练语料库。随后，他们发布了 GPT-Neo、GPT-J-6B 和 200 亿参数的 GPT-NeoX-20B，这些都是当时最大的公开语言模型。他们的工具，包括 GPT-NeoX 培训库和在全行业范围内用于基准测试的 LM 评估工具，成为其他人构建的基础设施。 2023 年，EleutherAI 正式成为一家非营利性研究机构，业务范围扩大到可解释性、一致性以及模型如何学习的科学领域。
技术洞察
EleutherAI 的模型使用 Transformer 解码器架构，但 GPT-J 和 GPT-NeoX 引入了实用的工程选择，例如用于编码标记位置的旋转位置嵌入 (RoPE) 和用于加速训练的并行注意力加前馈层。至关重要的是，他们对通过 Google 的 TPU 研究云和 CoreWeave 等合作伙伴捐赠的 TPU 和 GPU 进行了培训，表明分布式、赞助商资助的计算在与开放代码配合使用时可以替代企业数据中心。
掌握 EleutherAI
EleutherAI 是一个草根非营利研究团体，当前沿人工智能被锁在公司墙后时，它开创了开源大型语言模型。它证明了志愿者社区可以构建并自由发布与封闭系统相媲美的模型，从而重塑谁可以参与人工智能研究。 EleutherAI 在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到最好的理解。为了建立深入的理解，请将 EleutherAI 视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用 EleutherAI 的强大团队在提交之前会评估供应商策略、路线图可靠性和锁定风险。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
供应商路线图会影响您的团队接下来可以构建的功能。与此同时，发布公告可能会超过实际生产工作流程的稳定性。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
供应商路线图会影响您的团队接下来可以构建的功能。
供应商路线图会影响您的团队接下来可以构建的功能。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
商业条款和部署选项会影响长期成本和风险。
商业条款和部署选项会影响长期成本和风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
公司激励措施塑造了产品默认、安全态势和开放性。
公司激励措施塑造了产品默认、安全态势和开放性。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
Pile 数据集被世界各地的研究人员用来可重复地训练和研究开放语言模型。
GPT-J-6B 和 GPT-NeoX-20B 由初创公司和学术机构部署，作为商业 API 模型的免费替代品。
LM 评估工具是许多实验室用来对数百个任务的模型性能进行基准测试的标准工具。
独立的安全性和可解释性研究人员使用 EleutherAI 的开放权重来研究封闭 API 隐藏的模型内部结构。
实施模式
EleutherAI 实践
Pile 数据集被世界各地的研究人员用来可重复地训练和研究开放语言模型。
世界各地的研究人员使用 Pile 数据集来可重复地训练和研究开放语言模型。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
EleutherAI 实践
GPT-J-6B 和 GPT-NeoX-20B 由初创公司和学术机构部署，作为商业 API 模型的免费替代品。
GPT-J-6B 和 GPT-NeoX-20B 由初创公司和学术机构部署，作为商业 API 模型的免费替代品。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
EleutherAI 实践
LM 评估工具是许多实验室用来对数百个任务的模型性能进行基准测试的标准工具。
LM 评估工具是许多实验室用来对数百个任务的模型性能进行基准测试的标准工具。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
EleutherAI 实践
独立的安全性和可解释性研究人员使用 EleutherAI 的开放权重来研究封闭 API 隐藏的模型内部结构。
独立的安全性和可解释性研究人员使用 EleutherAI 的开放权重来研究封闭 API 隐藏的模型内部结构。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
使用您自己的任务和数据集评估提供商。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在集成之前查看隐私、安全和法律条款。
在集成之前查看隐私、安全和法律条款。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
维护跨模型或供应商的后备计划。
维护跨模型或供应商的后备计划。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
监控发行说明，以便路线图的更改不会让团队感到意外。
监控发行说明，以便路线图的更改不会让团队感到意外。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。