概述
其 ROOTS 训练语料库包括自然语言和编程语言，使其成为突出的开放获取研究模型。
深入探讨
BigScience 论文将 BLOOM 描述为一个仅解码器的 Transformer，拥有 1760 亿个参数。它在 ROOTS 上训练，ROOTS 是由 46 种自然语言和 13 种编程语言的数百个来源汇编而成的语料库。该合作伙伴将模型和代码以负责任的 AI 许可证发布，并记录了数据和训练选择。其开放获取的发布支持研究，但并未消除需要考虑许可证、模型限制或所代表语言分布的必要性。
现实世界的实施
生成并完成多种语言的文本，包括商业模式服务不足的语言
作为研究偏见、多语言迁移和扩展行为的开放研究基线
微调为特定于任务或遵循指令的变体，例如针对非英语社区的 BLOOMZ
为研究训练数据来源和负责任的人工智能许可的学者提供完整记录的模型
大科学的未来和 BLOOM 模型
BigScience 证明了大规模、开放管理的人工智能是可能的，其模型影响了后来的开放版本和更广泛的透明度推动。未来的多语言工作可能会建立在数据文档和包容性语言覆盖方面的经验教训上，而更新、更高效的模型在原始能力上已经超越了 BLOOM。它持久的遗产是发布模型卡、数据声明和负责任的许可证的规范，以及公共计算可以训练前沿规模模型的证据。
付诸实践
为什么这很重要
- 供应商策略. 供应商路线图会影响您的团队接下来可以构建的功能。
- 成本与预算. 商业条款和部署选项会影响长期成本和风险。
- 风险与安全. 公司激励措施塑造了产品默认、安全态势和开放性。
留意
- 发布公告可能会超过实际生产工作流程的稳定性。
- API 定价或政策转变可能会在一夜之间打破假设。
- 单一供应商依赖性增加了锁定和迁移成本。
后续步骤
- 使用您自己的任务和数据集评估提供商。
- 在集成之前查看隐私、安全和法律条款。
- 维护跨模型或供应商的后备计划。
- 监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
常见问题
什么是 BigScience 和 BLOOM 模型？
BLOOM 是一个 1760 亿参数的多语言模型，由 BigScience 合作伙伴制作并配以研究文档发布。其 ROOTS 训练语料库包含自然语言和编程语言，使其成为一个突出的开放获取研究模型。
与当时类似大小的模型相比，BLOOM 模型的主要区别目标是什么？
BLOOM 被设计为真正的多语言版本，并以完整的文档公开发布，这与同等规模的封闭模型不同。
BLOOM 大约有多少个参数？
BLOOM 是一个包含 1760 亿个参数的模型，其规模与 GPT-3 类似。
BLOOM 经过训练可以处理多少种自然语言？
BLOOM 的 ROOTS 训练语料库涵盖 46 种自然语言和 13 种编程语言。
哪个组织负责协调 BigScience 的合作？
Hugging Face 协调了 BigScience，这是一个由 1,000 多名志愿者研究人员组成的研讨会。
BLOOM 在哪里接受培训？
BLOOM 在法国的 Jean Zay 超级计算机上进行了训练，证明公共计算可以训练前沿规模的模型。