埃鲁瑟人工智能
EleutherAI 是一个草根非营利研究团体，当前沿人工智能被锁在公司墙后时，它开创了开源大型语言模型。
概述
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
深入探讨
EleutherAI 于 2020 年 7 月成立，是由 Connor Leahy、Sid Black 和 Leo Gau 组织的 Discord 社区，最初旨在复制 OpenAI 的 GPT-3。为了训练此类模型，他们首先构建并发布了 The Pile，这是一个 825GB 的精选文本数据集，已成为标准的开放训练语料库。随后，他们发布了 GPT-Neo、GPT-J-6B 和 200 亿参数的 GPT-NeoX-20B，这些都是当时最大的公开语言模型。他们的工具，包括 GPT-NeoX 培训库和在全行业范围内用于基准测试的 LM 评估工具，成为其他人构建的基础设施。 2023 年，EleutherAI 正式成为一家非营利性研究机构，业务范围扩大到可解释性、一致性以及模型如何学习的科学领域。
技术洞察
EleutherAI 的模型使用 Transformer 解码器架构，但 GPT-J 和 GPT-NeoX 引入了实用的工程选择，例如用于编码标记位置的旋转位置嵌入 (RoPE) 和用于加速训练的并行注意力加前馈层。至关重要的是，他们对通过 Google 的 TPU 研究云和 CoreWeave 等合作伙伴捐赠的 TPU 和 GPU 进行了培训，表明分布式、赞助商资助的计算在与开放代码配合使用时可以替代企业数据中心。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
EleutherAI 的未来
EleutherAI 正在从纯粹的模型扩展竞赛转向可解释性、训练数据透明度和严格评估，这些都是最需要开放科学的领域。期望继续致力于了解模型内部代表的内容、发布记录良好的数据集并支持独立的安全研究。随着前沿实验室变得越来越神秘，EleutherAI 作为公共利益平衡者、培训下一代研究人员的角色可能比它所提供的任何单个模型的参数数量更重要。
现实世界的实施
Pile 数据集被世界各地的研究人员用来可重复地训练和研究开放语言模型。
GPT-J-6B 和 GPT-NeoX-20B 由初创公司和学术机构部署，作为商业 API 模型的免费替代品。
LM 评估工具是许多实验室用来对数百个任务的模型性能进行基准测试的标准工具。
独立的安全性和可解释性研究人员使用 EleutherAI 的开放权重来研究封闭 API 隐藏的模型内部结构。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is EleutherAI?
EleutherAI 是一个草根非营利研究团体，当前沿人工智能被锁在公司墙后时，它开创了开源大型语言模型。它证明了志愿者社区可以构建并自由发布与封闭系统相媲美的模型，从而重塑谁可以参与人工智能研究。
EleutherAI 最初是如何在 2020 年启动的？
EleutherAI 最初是一个由志愿者组成的非正式 Discord 集体，旨在复制当时已关闭的 GPT-3。
什么是“桩”？
The Pile 是一个大型、多样化、公开发布的文本语料库 EleutherAI，旨在训练和研究语言模型。
以下哪一个是 EleutherAI 语言模型？
GPT-NeoX-20B是EleutherAI旗舰开放型号之一；其他来自 Google 或 Meta。
LM 评估工具的用途是什么？
该工具是一种广泛采用的开放工具，用于在数百个基准上对语言模型进行标准化评估。
EleutherAI 早期是如何获得训练大型模型的计算能力的？
由于缺乏企业数据中心，EleutherAI 依靠赞助商捐赠的 TPU 和 GPU 资源来训练其模型。