ヌース研究
Nous Research は、人気のあるオープン モデルを高機能で制限の少ないアシスタントに微調整し、分散型トレーニングを推進することで知られるコミュニティ主導の AI ラボです。
概要
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
ディープダイブ
Nous Research は、オープンベースモデル、特に Meta のラマファミリーとミストラルを採用し、それらを広く使用されているヘルメスとカピバラシリーズに微調整することで有名になりました。彼らの OpenHermes モデルと Nous Hermes モデルは、Hugging Face で最もダウンロードされた微調整の 1 つとなり、強力な指示に従い、激しい拒否行動よりも操縦性を重視した点で高く評価されました。微調整を超えて、ヌースは分散トレーニングという難しい問題に取り組みました。彼らの DisTrO 研究と DeMo オプティマイザーは、GPU 間で必要な通信帯域幅を削減することを目的としており、Psyche ネットワークは、地理的に分散し、インターネットに接続されたハードウェア全体で大規模なモデルをトレーニングすることを検討しています。彼らはまた、ツールを使用するモデルや推論に焦点を当てたモデルを実験し、オープンな分散型 AI のフロンティアに自らを位置づけています。
技術的な洞察
Nous のモデルのほとんどは、最初からトレーニングされたわけではありません。彼らは、慎重に厳選された合成データセットと人間のデータセットを使用して、オープンな基本重みに加えて、教師付き微調整と好みの最適化 (DPO など) を適用します。彼らの分散トレーニング作業は帯域幅のボトルネックを攻撃します。通常、GPU はステップごとに膨大な勾配更新を交換する必要があります。 DisTrO/DeMo はこれらの更新を圧縮して分離するため、密結合されたデータセンターの相互接続を必要とせずに、通常のインターネット リンクを介してノードが一緒にトレーニングできるようになります。
戦略的影響
ベンダー戦略
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
費用と予算
商業条件と導入オプションは、長期的なコストとリスクに影響します。
リスクと安全性
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
ヌース研究の未来
ヌース氏は、オープン AI の将来は分散化され、コンピューティングが少数のハイパースケール クラスターに集中するのではなく、多くの独立したコントリビューターにわたってプールされることに賭けています。低帯域幅のトレーニング方法が拡張できれば、コミュニティは共同してフロンティアクラスのモデルをトレーニングできる可能性があります。有能なオープンアシスタントの継続的なリリース、Psyche 分散ネットワークへのより深い投資、および推論指向のモデルが期待されます。彼らの取り組みは、ビッグテクノロジーの外で大規模なモデルをトレーニングすることへの障壁を有意義に下げる可能性があります。
現実世界の実装
開発者は、API コストなしで、プライベートで操作可能なチャット アシスタントのために、Nous Hermes モデルと OpenHermes モデルをローカルで実行します。
研究者は、帯域幅効率の高い分散モデル トレーニングを検討する際に、Nous の DisTrO メソッドと DeMo メソッドを引用しています。
愛好家や中小企業は、Nous がリリースしたデータセットを微調整して、ドメイン固有のアシスタントを構築します。
Psyche ネットワークは、地理的に分散されたボランティアの GPU 全体でトレーニング モデルを実験するために使用されます。
リスクとガードレール
実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
単一ベンダーへの依存により、ロックインと移行のコストが増加します。
実装ロードマップ
独自のタスクとデータセットを使用してプロバイダーを評価します。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
モデルやベンダー全体でフォールバック計画を維持します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Tongyi Lab と Qwen Research
よくある質問
What is Nous Research?
Nous Research は、人気のあるオープン モデルを高機能で制限の少ないアシスタントに微調整し、分散型トレーニングを推進することで知られるコミュニティ主導の AI ラボです。これは、小規模なチームとオープンソース コミュニティが、大規模なインフラストラクチャを所有せずにモデルの品質で競争できる方法を示しています。
初期に有名になったヌース・リサーチは何で最もよく知られていますか?
ヌースは、ラマやミストラルなどのオープンモデルを人気のエルメスファミリーに微調整することで知名度を高めました。
Nous が最も頻繁に微調整したベースモデルはどれですか?
Nous の Hermes と Capybara シリーズは、オープンベース モデル、特に Llama と Mistral に基づいて構築されています。
Nous の DisTrO プロジェクトと DeMo プロジェクトはどのような問題に取り組んでいますか?
DisTrO と DeMo オプティマイザーは、通常必要な GPU 間の帯域幅を削減し、通常のインターネット リンクを介したトレーニングを可能にすることを目的としています。
サイケネットワークとは何ですか？
Psyche は、分散した GPU をプールして大規模なモデルをトレーニングする方法を模索する Nous の分散トレーニング ネットワークです。
微調整されたモデルを調整するために、Nous は通常どのような手法を使用しますか?
Nous は、厳選されたデータセットを使用して、オープンな基本重みに加えて、教師あり微調整と設定の最適化を適用します。