概要
BigScience は、1,000 人を超える研究者による 1 年間にわたるオープンな研究共同作業であり、BLOOM を作成しました。BLOOM は、真に多言語でオープンにリリースされた最初の大型言語モデルの 1 つです。これは、ビッグテックの外で構築された透明性のあるコミュニティ主導の AI のランドマークとして重要です。
BigScience と BLOOM モデルは、戦略、モデルへのアクセス、プラットフォームの決定、エコシステムのパートナーシップという文脈で最もよく理解されます。
ディープダイブ
BigScienceは、2021年から2022年まで実施される1年間の研究ワークショップで、ハギング・フェイスがコーディネートし、60カ国以上、250機関から1,000人以上のボランティア研究者が集まった。 2022 年 7 月にリリースされたその主要な成果物は、1,760 億パラメーターの自己回帰言語モデルである BLOOM でした。 BLOOM は意図的に多言語に対応しており、46 の自然言語と 13 のプログラミング言語をカバーする ROOTS コーパスでトレーニングされており、いくつかのアフリカ言語や南アジア言語などの過小評価されている言語も強力に表現しています。トレーニングは、約 384 個の GPU を使用するフランスの公的資金による Jean Zay スーパーコンピューターで数か月間実行されました。 BLOOM は、責任ある AI ライセンスの下で、そのデータ、トレーニング、使用目的の完全な文書化とともにリリースされ、同等のモデルのクローズド開発とは明らかに対照的でした。
技術的な洞察
BLOOM は、GPT-3 と同様の規模のデコーダー専用トランスフォーマーであり、学習された位置ベクトルの代わりに ALiBi 位置埋め込みを使用します。これにより、トレーニングで見られるよりも長いシーケンスを外挿することができます。また、大規模なトレーニングの安定性を向上させる埋め込み層の正規化も適用されます。多言語 ROOTS コーパスは慎重に組み立てられ文書化されているため、言語の組み合わせとデータ ソースは透明で監査可能であり、不透明なスクレイピング データセットとは意図的に区別されています。
BigScience と BLOOM モデルをマスターする
BigScience は、1,000 人を超える研究者による 1 年間にわたるオープンな研究共同作業であり、BLOOM を作成しました。BLOOM は、真に多言語でオープンにリリースされた最初の大型言語モデルの 1 つです。これは、ビッグテックの外で構築された透明性のあるコミュニティ主導の AI のランドマークとして重要です。 BigScience と BLOOM モデルは、戦略、モデルへのアクセス、プラットフォームの決定、エコシステムのパートナーシップという文脈で最もよく理解されます。深い理解を構築するには、BigScience と BLOOM モデルを単一の機能ではなく、オペレーティング モデルとして扱います。望ましい結果を定義し、前提条件を明確にし、システムが確実に実行できることと、依然として専門家の判断が必要なことを分離します。
実際、BigScience と BLOOM モデルを使用する強力なチームは、コミットする前にベンダー戦略、ロードマップの信頼性、ロックイン リスクを評価します。明示的な成功基準を文書化し、現実的なデータとワークフローに対してテストし、一度限りのベンチマークの成功ではなく、観察された失敗パターンに基づいて反復します。ここで、理論的な理解が、製品、ポリシー、運用全体にわたる永続的な機能に変わります。
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。同時に、実際の運用ワークフローでは、発売の発表が安定性を上回る可能性があります。最も回復力のあるアプローチは、実験のスピードとガバナンスの規律を組み合わせることであり、パイロットを実行し、証拠を取得し、意思決定ログを公開し、モデルの動作、ユーザーの期待、規制要件の進化に応じて安全対策を継続的に更新します。
戦略的影響
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。高品質の導入では、これが測定可能な運用ルール、所有権の境界、定期的なレビューの儀式に変換されるため、チームは曖昧さを拡大するのではなく、自信を拡大することができます。
商業条件と導入オプションは、長期的なコストとリスクに影響します。
商業条件と導入オプションは、長期的なコストとリスクに影響します。高品質の導入では、これが測定可能な運用ルール、所有権の境界、定期的なレビューの儀式に変換されるため、チームは曖昧さを拡大するのではなく、自信を拡大することができます。
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。高品質の導入では、これが測定可能な運用ルール、所有権の境界、定期的なレビューの儀式に変換されるため、チームは曖昧さを拡大するのではなく、自信を拡大することができます。
現実世界の実装
商用モデルでは十分にサービスが提供されていない言語を含む、数十の言語にまたがるテキストの生成と完成
バイアス、多言語転移、およびスケーリング行動を研究するためのオープンな研究ベースラインとして機能します
英語以外のコミュニティ向けの BLOOMZ など、タスク固有のバリアントまたは指示に従うバリアントへの微調整
トレーニング データの来歴と責任ある AI ライセンスを研究する学者向けに、完全に文書化されたモデルを提供します。
実装パターン
BigScience と BLOOM モデルの実践
商用モデルでは十分にサービスが提供されていない言語を含む、数十の言語にまたがるテキストの生成と完成。
商用モデルで十分にサービスが提供されていない言語を含む、数十の言語でテキストを生成および完成させる チームは、通常、品質のしきい値を事前に定義し、エッジケースに対して人的エスカレーションパスを確保し、生産性の向上とエラーコストの両方を長期的に追跡すると、より良い結果が得られます。
BigScience と BLOOM モデルの実践
バイアス、多言語転移、スケーリング行動を研究するためのオープンな研究ベースラインとして機能します。
バイアス、多言語転送、およびスケーリング動作を研究するためのオープンな研究ベースラインとして機能します。チームは通常、品質のしきい値を事前に定義し、エッジ ケースに対する人的エスカレーション パスを維持し、生産性の向上とエラー コストの両方を長期的に追跡すると、より良い結果が得られます。
BigScience と BLOOM モデルの実践
非英語コミュニティ向けの BLOOMZ など、タスク固有のバリアントまたは指示に従うバリアントに微調整します。
英語以外のコミュニティ向けの BLOOMZ など、タスク固有のバリアントまたは指示に従うバリアントへの微調整 チームは通常、品質のしきい値を事前に定義し、エッジ ケースに対する人的エスカレーション パスを確保し、生産性の向上とエラー コストの両方を長期的に追跡すると、より良い結果が得られます。
BigScience と BLOOM モデルの実践
トレーニング データの来歴と責任ある AI ライセンスを研究する学者向けに、完全に文書化されたモデルを提供します。
トレーニング データの来歴と責任ある AI ライセンスを研究する学者向けに完全に文書化されたモデルを提供する チームは通常、品質のしきい値を事前に定義し、エッジ ケースに対する人的エスカレーション パスを維持し、生産性の向上とエラー コストの両方を長期的に追跡すると、より良い結果が得られます。
リスクとガードレール
実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
単一ベンダーへの依存により、ロックインと移行のコストが増加します。
実装ロードマップ
独自のタスクとデータセットを使用してプロバイダーを評価します。
独自のタスクとデータセットを使用してプロバイダーを評価します。各ステップを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。各ステップを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
モデルやベンダー全体でフォールバック計画を維持します。
モデルやベンダー全体でフォールバック計画を維持します。各ステップを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。各ステップを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。