企業ガイド
BigScience と BLOOM モデル
BLOOMは、BigScienceコラボレーションによって作成され、研究ドキュメントと共に公開された1760億パラメータの多言語言語モデルです。
このガイドを聴くAIによるナレーション · ~2 min
概要
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
ディープダイブ
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
現実世界の実装
商用モデルでは十分にサービスが提供されていない言語を含む、数十の言語にまたがるテキストの生成と完成
バイアス、多言語転移、およびスケーリング行動を研究するためのオープンな研究ベースラインとして機能します
英語以外のコミュニティ向けの BLOOMZ など、タスク固有のバリアントまたは指示に従うバリアントへの微調整
トレーニング データの来歴と責任ある AI ライセンスを研究する学者向けに、完全に文書化されたモデルを提供します。
ビッグサイエンスの未来と BLOOM モデル
BigScience は、大規模でオープンに管理された AI が可能であることを実証し、そのモデルはその後のオープン リリースや透明性を求める広範な推進に影響を与えました。将来の多言語対応は、データ文書化と包括的な言語範囲の教訓に基づいて構築される可能性が高く、より新しい、より効率的なモデルは、そのままの機能で BLOOM を上回っています。その永続的な遺産は、モデル カード、データ ステートメント、および責任あるライセンスの公開の標準であり、さらにパブリック コンピューティングがフロンティア スケールのモデルをトレーニングできることの証拠です。
実践する
なぜそれが重要なのか
- ベンダー戦略. ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
- 費用と予算. 商業条件と導入オプションは、長期的なコストとリスクに影響します。
- リスクと安全性. 企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
気をつけてください
- 実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
- API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
- 単一ベンダーへの依存により、ロックインと移行のコストが増加します。
次のステップ
- 独自のタスクとデータセットを使用してプロバイダーを評価します。
- 統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
- モデルやベンダー全体でフォールバック計画を維持します。
- ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
よくある質問
BigScience と BLOOM モデルとは何ですか?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
当時の同様のサイズのモデルと比較して、BLOOM モデルの主な特徴的な目標は何でしたか?
BLOOM は真の多言語対応となるように設計されており、同規模のクローズド モデルとは異なり、完全なドキュメントとともにオープンにリリースされました。
BLOOM にはおよそいくつのパラメータがありますか?
BLOOM は 1,760 億パラメータのモデルであり、GPT-3 と同様の規模に位置します。
BLOOM はいくつの自然言語を処理できるように訓練されましたか?
BLOOM の ROOTS トレーニング コーパスは、46 の自然言語と 13 のプログラミング言語をカバーしました。
BigScience のコラボレーションを調整したのはどの組織ですか?
ハグ・フェイスは、1,000 人以上のボランティア研究者が参加するワークショップである BigScience をコーディネートしました。
BLOOMはどこで訓練を受けましたか?
BLOOM はフランスの Jean Zay スーパーコンピューターでトレーニングされ、パブリック コンピューティングでフロンティア スケールのモデルをトレーニングできることが実証されました。