BigScience と BLOOM モデル
BigScience は、1,000 人を超える研究者による 1 年間にわたるオープンな研究共同作業であり、BLOOM を作成しました。BLOOM は、真に多言語でオープンにリリースされた最初の大型言語モデルの 1 つです。
概要
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
ディープダイブ
BigScienceは、2021年から2022年まで実施される1年間の研究ワークショップで、ハギング・フェイスがコーディネートし、60カ国以上、250機関から1,000人以上のボランティア研究者が集まった。 2022 年 7 月にリリースされたその主要な成果物は、1,760 億パラメーターの自己回帰言語モデルである BLOOM でした。 BLOOM は意図的に多言語に対応しており、46 の自然言語と 13 のプログラミング言語をカバーする ROOTS コーパスでトレーニングされており、いくつかのアフリカ言語や南アジア言語などの過小評価されている言語も強力に表現しています。トレーニングは、約 384 個の GPU を使用するフランスの公的資金による Jean Zay スーパーコンピューターで数か月間実行されました。 BLOOM は、責任ある AI ライセンスの下で、そのデータ、トレーニング、使用目的の完全な文書化とともにリリースされ、同等のモデルのクローズド開発とは明らかに対照的でした。
技術的な洞察
BLOOM は、GPT-3 と同様の規模のデコーダー専用トランスフォーマーであり、学習された位置ベクトルの代わりに ALiBi 位置埋め込みを使用します。これにより、トレーニングで見られるよりも長いシーケンスを外挿することができます。また、大規模なトレーニングの安定性を向上させる埋め込み層の正規化も適用されます。多言語 ROOTS コーパスは慎重に組み立てられ文書化されているため、言語の組み合わせとデータ ソースは透明で監査可能であり、不透明なスクレイピング データセットとは意図的に区別されています。
戦略的影響
ベンダー戦略
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
費用と予算
商業条件と導入オプションは、長期的なコストとリスクに影響します。
リスクと安全性
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
ビッグサイエンスの未来と BLOOM モデル
BigScience は、大規模でオープンに管理された AI が可能であることを実証し、そのモデルはその後のオープン リリースや透明性を求める広範な推進に影響を与えました。将来の多言語対応は、データ文書化と包括的な言語範囲の教訓に基づいて構築される可能性が高く、より新しい、より効率的なモデルは、そのままの機能で BLOOM を上回っています。その永続的な遺産は、モデル カード、データ ステートメント、および責任あるライセンスの公開の標準であり、さらにパブリック コンピューティングがフロンティア スケールのモデルをトレーニングできることの証拠です。
現実世界の実装
商用モデルでは十分にサービスが提供されていない言語を含む、数十の言語にまたがるテキストの生成と完成
バイアス、多言語転移、およびスケーリング行動を研究するためのオープンな研究ベースラインとして機能します
英語以外のコミュニティ向けの BLOOMZ など、タスク固有のバリアントまたは指示に従うバリアントへの微調整
トレーニング データの来歴と責任ある AI ライセンスを研究する学者向けに、完全に文書化されたモデルを提供します。
リスクとガードレール
実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
単一ベンダーへの依存により、ロックインと移行のコストが増加します。
実装ロードマップ
独自のタスクとデータセットを使用してプロバイダーを評価します。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
モデルやベンダー全体でフォールバック計画を維持します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Magic AI ロングコンテキスト コード モデル
よくある質問
What is BigScience and the BLOOM Model?
BigScience は、1,000 人を超える研究者による 1 年間にわたるオープンな研究共同作業であり、BLOOM を作成しました。BLOOM は、真に多言語でオープンにリリースされた最初の大型言語モデルの 1 つです。これは、ビッグテックの外で構築された透明性のあるコミュニティ主導の AI のランドマークとして重要です。
当時の同様のサイズのモデルと比較して、BLOOM モデルの主な特徴的な目標は何でしたか?
BLOOM は真の多言語対応となるように設計されており、同規模のクローズド モデルとは異なり、完全なドキュメントとともにオープンにリリースされました。
BLOOM にはおよそいくつのパラメータがありますか?
BLOOM は 1,760 億パラメータのモデルであり、GPT-3 と同様の規模に位置します。
BLOOM はいくつの自然言語を処理できるように訓練されましたか?
BLOOM の ROOTS トレーニング コーパスは、46 の自然言語と 13 のプログラミング言語をカバーしました。
BigScience のコラボレーションを調整したのはどの組織ですか?
ハグ・フェイスは、1,000 人以上のボランティア研究者が参加するワークショップである BigScience をコーディネートしました。
BLOOMはどこで訓練を受けましたか?
BLOOM はフランスの Jean Zay スーパーコンピューターでトレーニングされ、パブリック コンピューティングでフロンティア スケールのモデルをトレーニングできることが実証されました。