企業ガイド
エレウザーAI
EleutherAI は、フロンティア AI が企業の壁に閉ざされていた時代に、オープンソースの大規模言語モデルの先駆者となった草の根の非営利研究集団です。
このガイドを聴くAIによるナレーション · ~2 min
概要
これは、ボランティア コミュニティが閉鎖システムに匹敵するモデルを構築して自由にリリースできることを証明し、誰が AI 研究に参加できるかを再構築しました。
ディープダイブ
EleutherAI は、Connor Leahy、Sid Black、Leo Gao によって組織された Discord コミュニティとして 2020 年 7 月に始まり、当初は OpenAI の GPT-3 を複製することを目的としていました。このようなモデルをトレーニングするために、彼らはまず、標準のオープン トレーニング コーパスとなった 825 GB の厳選されたテキスト データセットである The Pile を構築してリリースしました。その後、彼らは GPT-Neo、GPT-J-6B、および 200 億パラメータの GPT-NeoX-20B をリリースしました。これは、当時オープンに利用可能な言語モデルとしては最大のものでした。 GPT-NeoX トレーニング ライブラリや業界全体でベンチマークに使用されている LM 評価ハーネスなどのツールは、他の企業が構築するインフラストラクチャになりました。 2023 年に EleutherAI は非営利研究機関として正式に設立され、解釈可能性、位置合わせ、モデルの学習方法の科学にまで範囲を広げました。
現実世界の実装
Pile データセットは、オープン言語モデルを再現可能にトレーニングおよび研究するために世界中の研究者によって使用されています。
GPT-J-6B と GPT-NeoX-20B は、商用 API モデルの無料代替品としてスタートアップ企業や学者によって導入されています。
LM 評価ハーネスは、多くのラボが数百のタスクにわたってモデルのパフォーマンスをベンチマークするために使用する標準ツールです。
独立した安全性と解釈可能性の研究者は、EleutherAI のオープン ウェイトを使用して、閉じた API が隠すモデルの内部を研究します。
EleutherAI の将来
EleutherAI は、純粋なモデルのスケーリング競争から、オープン サイエンスが最も必要とされる解釈可能性、トレーニング データの透明性、厳密な評価へと移行しています。モデルが内部的に何を表しているのかを理解し、十分に文書化されたデータセットをリリースし、独立した安全性研究をサポートするための継続的な作業が期待されます。フロンティア研究所の秘密主義が進むにつれ、次世代の研究者を訓練する公益のカウンターウェイトとしての EleutherAI の役割は、出荷される単一モデルのパラメータ数よりも重要になる可能性があります。
実践する
なぜそれが重要なのか
- ベンダー戦略. ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
- 費用と予算. 商業条件と導入オプションは、長期的なコストとリスクに影響します。
- リスクと安全性. 企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
気をつけてください
- 実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
- API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
- 単一ベンダーへの依存により、ロックインと移行のコストが増加します。
次のステップ
- 独自のタスクとデータセットを使用してプロバイダーを評価します。
- 統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
- モデルやベンダー全体でフォールバック計画を維持します。
- ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
よくある質問
EleutherAIとは何ですか？
EleutherAI は、フロンティア AI が企業の壁に閉ざされていた時代に、オープンソースの大規模言語モデルの先駆者となった草の根の非営利研究集団です。これは、ボランティア コミュニティが閉鎖システムに匹敵するモデルを構築して自由にリリースできることを証明し、誰が AI 研究に参加できるかを再構築しました。
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
「ザ・パイル」とは何ですか？
The Pile は、言語モデルをトレーニングおよび研究するために構築された、大規模で多様な、オープンにリリースされたテキスト コーパス EleutherAI です。
EleutherAI 言語モデルは次のうちどれですか?
GPT-NeoX-20B は、EleutherAI の主力オープン モデルの 1 つです。他のものは Google または Meta からのものです。
LM評価ハーネスは何に使用されますか?
ハーネスは、数百のベンチマークで言語モデルを標準化して評価するために広く採用されているオープン ツールです。
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.