エレウザーAI
EleutherAI は、フロンティア AI が企業の壁に閉ざされていた時代に、オープンソースの大規模言語モデルの先駆者となった草の根の非営利研究集団です。
概要
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
ディープダイブ
EleutherAI は、Connor Leahy、Sid Black、Leo Gao によって組織された Discord コミュニティとして 2020 年 7 月に始まり、当初は OpenAI の GPT-3 を複製することを目的としていました。このようなモデルをトレーニングするために、彼らはまず、標準のオープン トレーニング コーパスとなった 825 GB の厳選されたテキスト データセットである The Pile を構築してリリースしました。その後、彼らは GPT-Neo、GPT-J-6B、および 200 億パラメータの GPT-NeoX-20B をリリースしました。これは、当時オープンに利用可能な言語モデルとしては最大のものでした。 GPT-NeoX トレーニング ライブラリや業界全体でベンチマークに使用されている LM 評価ハーネスなどのツールは、他の企業が構築するインフラストラクチャになりました。 2023 年に EleutherAI は非営利研究機関として正式に設立され、解釈可能性、位置合わせ、モデルの学習方法の科学にまで範囲を広げました。
技術的な洞察
EleutherAI のモデルはトランスフォーマー デコーダー アーキテクチャを使用していますが、GPT-J と GPT-NeoX では、トークンの位置をエンコードするためのロータリー位置埋め込み (RoPE) や、トレーニングを高速化するための並列化されたアテンション プラス フィードフォワード レイヤーなどの実用的なエンジニアリングの選択肢が導入されています。重要なのは、Google の TPU Research Cloud や CoreWeave などのパートナーシップを通じて寄付された TPU と GPU でトレーニングを行ったことで、スポンサーが資金提供する分散型コンピューティングがオープン コードと組み合わせることで企業のデータセンターの代わりとなる可能性があることを示しました。
戦略的影響
ベンダー戦略
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
費用と予算
商業条件と導入オプションは、長期的なコストとリスクに影響します。
リスクと安全性
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
EleutherAI の将来
EleutherAI は、純粋なモデルのスケーリング競争から、オープン サイエンスが最も必要とされる解釈可能性、トレーニング データの透明性、厳密な評価へと移行しています。モデルが内部的に何を表しているのかを理解し、十分に文書化されたデータセットをリリースし、独立した安全性研究をサポートするための継続的な作業が期待されます。フロンティア研究所の秘密主義が進むにつれ、次世代の研究者を訓練する公益のカウンターウェイトとしての EleutherAI の役割は、出荷される単一モデルのパラメータ数よりも重要になる可能性があります。
現実世界の実装
Pile データセットは、オープン言語モデルを再現可能にトレーニングおよび研究するために世界中の研究者によって使用されています。
GPT-J-6B と GPT-NeoX-20B は、商用 API モデルの無料代替品としてスタートアップ企業や学者によって導入されています。
LM 評価ハーネスは、多くのラボが数百のタスクにわたってモデルのパフォーマンスをベンチマークするために使用する標準ツールです。
独立した安全性と解釈可能性の研究者は、EleutherAI のオープン ウェイトを使用して、閉じた API が隠すモデルの内部を研究します。
リスクとガードレール
実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
単一ベンダーへの依存により、ロックインと移行のコストが増加します。
実装ロードマップ
独自のタスクとデータセットを使用してプロバイダーを評価します。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
モデルやベンダー全体でフォールバック計画を維持します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
重みとバイアス
よくある質問
What is EleutherAI?
EleutherAI は、フロンティア AI が企業の壁に閉ざされていた時代に、オープンソースの大規模言語モデルの先駆者となった草の根の非営利研究集団です。これは、ボランティア コミュニティが閉鎖システムに匹敵するモデルを構築して自由にリリースできることを証明し、誰が AI 研究に参加できるかを再構築しました。
EleutherAI は 2020 年にどのようにスタートしたのでしょうか?
EleutherAI は、当時閉鎖されていた GPT-3 を複製するために組織されたボランティアの非公式の Discord 集団として始まりました。
「ザ・パイル」とは何ですか？
The Pile は、言語モデルをトレーニングおよび研究するために構築された、大規模で多様な、オープンにリリースされたテキスト コーパス EleutherAI です。
EleutherAI 言語モデルは次のうちどれですか?
GPT-NeoX-20B は、EleutherAI の主力オープン モデルの 1 つです。他のものは Google または Meta からのものです。
LM評価ハーネスは何に使用されますか?
ハーネスは、数百のベンチマークで言語モデルを標準化して評価するために広く採用されているオープン ツールです。
EleutherAI は、大規模なモデルをトレーニングするためのコンピューティングを早い段階でどのようにして取得したのでしょうか?
EleutherAI は企業データセンターを持たないため、モデルのトレーニングにスポンサーから寄付された TPU および GPU リソースに依存していました。