概述
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
深入探討
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
現實世界的實施
產生並完成多種語言的文本,包括商業模式服務不足的語言
作為研究偏見、多語言遷移和擴展行為的開放研究基線
微調為特定於任務或遵循指令的變體,例如針對非英語社群的 BLOOMZ
為研究訓練資料來源和負責任的人工智慧授權的學者提供完整記錄的模型
大科學的未來與 BLOOM 模型
BigScience 證明了大規模、開放管理的人工智慧是可能的,其模型影響了後來的開放版本和更廣泛的透明度推動。未來的多語言工作可能會建立在資料文件和包容性語言覆蓋方面的經驗教訓上,而更新、更有效率的模型在原始能力上已經超越了 BLOOM。它持久的遺產是發布模型卡、資料聲明和負責任的許可證的規範,以及公共計算可以訓練前沿規模模型的證據。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 BigScience 和 BLOOM 模型?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
與當時類似大小的模型相比,BLOOM 模型的主要差異目標是什麼?
BLOOM 被設計為真正的多語言版本,並以完整的文件公開發布,這與同等規模的封閉模型不同。
BLOOM 大約有多少個參數?
BLOOM 是一個包含 1760 億個參數的模型,其規模與 GPT-3 類似。
BLOOM 經過訓練可以處理多少種自然語言?
BLOOM 的 ROOTS 訓練語料庫涵蓋 46 種自然語言和 13 種程式語言。
哪個組織負責協調 BigScience 的合作?
Hugging Face 協調了 BigScience,這是一個由 1,000 多名志願者研究人員組成的研討會。
BLOOM 在哪裡接受訓練?
BLOOM 在法國的 Jean Zay 超級電腦上進行了訓練,證明公共運算可以訓練前緣規模的模型。