Microsoft ファイ
Microsoft Phi は、慎重なデータ キュレーションが総当たりのスケールに匹敵することを証明する小規模な言語モデルのファミリーです。
概要
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
ディープダイブ
Phi は Microsoft Research の小規模言語モデル (SLM) ラインで、2023 年に 13 億パラメーターのコーディング モデルである Phi-1 で開始されました。 「必要なのは教科書だけ」という論文のタイトルに込められている指針となる理論は、生のサイズよりもデータの品質が重要であるということです。 Microsoft は、Web 全体をスクレイピングする代わりに、厳選された教科書のようなコンテンツと GPT-4 によって生成された合成演習でファイをトレーニングしました。その後のリリースでは、このアイデアを拡張しました。Phi-2 (2.7B)、Phi-3 (3.8B「ミニ」から最大 14B「ミディアム」)、およびビジョンと専門家の混合バージョンを備えた Phi-3.5 です。そのサイズにもかかわらず、Phi モデルは推論と数学のベンチマークにおいてはるかに大きな競合他社に匹敵するか、それに勝っており、ラップトップ、携帯電話、エッジ デバイス上で効率的に実行されます。モデルは寛容なライセンスの下で公にリリースされています。
技術的な洞察
Phi のエッジは、合成データの生成とフィルタリングから生まれます。 Microsoft は、GPT-4 などのより大きなモデルを使用して、クリーンで教育的に構造化されたサンプルを作成し、Web テキストの「教育的価値」をスコアリングして、信号の高いドキュメントのみを保持します。この高密度で低ノイズのトレーニング ミックスにより、3.8B モデルは、通常は数百億のパラメーターを必要とする推論パターンを学習できます。 Phi-3-mini は、4K または 128K コンテキスト ウィンドウと Llama と同様のトランス デコーダー アーキテクチャを使用しているため、既存のツールを使用して簡単に導入できます。
戦略的影響
ベンダー戦略
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
費用と予算
商業条件と導入オプションは、長期的なコストとリスクに影響します。
リスクと安全性
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
Microsoft ファイの未来
Microsoft は、遅延、プライバシー、コストの点でクラウドの巨人を排除できるオンデバイスおよびエージェントの使用に向けて Phi を推進しています。 Windows と Copilot+ PC のより緊密な統合、より強力なマルチモーダル (ビジョンとオーディオ) バリアント、およびトークンごとに一部のパラメーターのみをアクティブにする専門家の混合設計の継続が期待されます。ファイが検証した、スマート データが巨大なスケールに勝るという広範な傾向は、特に小型で機能性の高いモデルが勝つ電話、IoT、およびオフライン シナリオにおいて、業界全体のモデルのトレーニング方法を再構築しています。
現実世界の実装
コードをクラウドに送信せずに、ラップトップ上でオフライン コーディング アシスタントを直接実行する
低遅延が重要な Copilot+ PC およびモバイル アプリのオンデバイス機能の強化
メモリが限られておりインターネットがない IoT またはエッジ ハードウェアに推論モデルを組み込む
研究者は、ドメイン固有のチャットボット用に、小規模でオープンにライセンスされた Phi モデルを安価に微調整しています
リスクとガードレール
実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
単一ベンダーへの依存により、ロックインと移行のコストが増加します。
実装ロードマップ
独自のタスクとデータセットを使用してプロバイダーを評価します。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
モデルやベンダー全体でフォールバック計画を維持します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Microsoft AI
よくある質問
What is Microsoft Phi?
Microsoft Phi は、慎重なデータ キュレーションが総当たりのスケールに匹敵することを証明する小規模な言語モデルのファミリーです。教科書品質の合成データでトレーニングすることにより、小さなファイ モデルはパラメータ数をはるかに上回る能力を発揮します。
有名な論文のタイトルにある、ファイ モデルの背後にある核となる理論は何ですか?
Phi-1 の論文は「必要なのは教科書だけ」と題され、高品質で厳選されたデータが膨大な規模よりも重要であると主張しています。
Phi-3-mini にはおおよそいくつのパラメータがありますか?
Phi-3-mini には約 38 億のパラメータがあり、携帯電話上で実行できるほど小型でありながら、強力なパフォーマンスを維持します。
Microsoft はどのようにして Phi のトレーニング データの多くを生成するのでしょうか?
Microsoft は、GPT-4 などの強力なモデルを使用して、クリーンな合成演習を生成し、教育的価値のある Web テキストをフィルタリングします。
Phi で使用される「SLM」は、どのカテゴリーのモデルを指しますか?
Phi は小型言語モデル (SLM) として説明され、コンパクトなサイズでの機能を強調しています。
Phi の小さいサイズの主な実際的な利点は何ですか?
Phi モデルはコンパクトであるため、消費者向けハードウェア上でローカルに実行でき、プライバシー、低遅延、オフラインでの使用が可能になります。