何が起こったのか
PrismML は、クラウド インフラストラクチャを使用せずにパーソナル コンピューターやハイエンド スマートフォンで実行できるように設計された圧縮大規模言語モデルである Bonsai 2 27B をリリースしました。このモデルは、3 値の重み圧縮を使用して Alibaba の Qwen3.8 27B を 5.9 ギガバイトに削減し、オリジナルのベンチマーク パフォーマンスの 98% を維持します。ウェイトは Apache 2.0 ライセンスで利用でき、CUDA 経由で NVIDIA GPU をサポートし、MLX 経由で Apple デバイスをサポートします。
カリフォルニア工科大学の研究者によって設立され、Babak Hassibi 氏が率いる新興企業 PrismML は、木曜日に Bonsai 2 27B をリリースしました。このモデルは Alibaba の Qwen3.8 27B の圧縮バージョンで、16 ビット パラメータを 3 つの値 (正の 1、負の 1、またはゼロ) に変換する 3 値の重み圧縮によって 5.9 ギガバイトに削減されています。この手法により、冗長なパラメーターが排除され、モデルがローカル ハードウェアに適合しながら、元のベンチマーク パフォーマンスの 98% を維持できるようになります。
このリリースは、ベンチマーク パフォーマンスの 95% を保持していた 3 月のオリジナルの Bonsai モデルに比べて大幅な改善を示しています。 PrismML によると、元のモデルは 1,100 万回以上ダウンロードされ、さらに小規模なモデルも累計 260 万回ダウンロードされており、開発者がデバイスベース AI を強力に採用していることを示しています。新しいモデルは、CUDA 経由で NVIDIA GPU 上で実行され、MLX 経由で Apple デバイス (Mac、iPhone、iPad) 上で実行され、カスタムの低ビット カーネルを利用して効率的なローカル実行を保証します。
モデルの重みは Apache 2.0 ライセンスの下ですぐに利用できるため、広範な統合と変更が可能です。 PrismML は、Khosla Ventures、Cerberus Capital、Caltech の支援を受けて 2,225 万ドルのシードラウンドを調達し、Databricks の共同創設者である Ion Stoica がアドバイザーを務めました。同社のアプローチは、大規模なモデルの冗長性を活用して、最小限のファイル サイズで高いパフォーマンスの同等性を達成することに焦点を当てており、Hassibi 氏が示唆する戦略は、モデル サイズが大きくなるにつれてより効果的になるでしょう。
なぜそれが重要なのか
このリリースでは、推論可能な AI が消費者向けハードウェア上でローカルに動作し、プライバシーの問題に対処し、クラウドの遅延とサブスクリプション コストを排除できることを実証します。 PrismML は、大幅に小さいファイル サイズで同等の高いパフォーマンスを実現することで、クラウド依存の AI から分散型のデバイスベースの推論への移行を進め、大規模なデータセンター インフラストラクチャなしで高度な AI 機能にアクセスできるようにします。
推論機能を備えた AI を消費者向けデバイス上でローカルに実行できる機能により、ユーザー データがデバイスから流出することがないようにすることで、プライバシーに関する重大な懸念に対処できます。これにより、クラウド送信の必要性がなくなり、遅延が削減され、クラウドベースの AI サービスに関連する継続的なサブスクリプション コストが削減されます。開発者とエンドユーザーにとって、これはコスト効率が高くプライベートな分散型のデバイスベースの推論への根本的な移行を意味します。
5.9 GB ファイルで 98% のベンチマーク パフォーマンスという高い保持率は、圧縮技術が大規模モデルのインテリジェンスを効果的に保持できることを示しています。これは、データ主権とリアルタイム応答が最重要視されるヘルスケア、金融、パーソナル アシスタントなど、オンデバイス AI を必要とする業界にとって実用的な意味を持ちます。このリリースのオープンソースの性質により、コミュニティが特定のハードウェア制約に合わせてモデルを構築し、最適化できるため、導入がさらに加速されます。
インタラクティブなメカニズム: 実際にどのように機能するか
この開発の背後にある基盤となるテクノロジーをインタラクティブに探索します。
Which component of an AI application is the machine-learning model itself?
次に見るべきもの
開発者は、さまざまなハードウェア アーキテクチャ向けのカスタム低ビット カーネルの可用性と、今後数か月以内に数千億のパラメータ モデルを圧縮するという同社の目標を監視する必要があります。さらに、リリースのタイミングによって示唆されている Apple デバイスとの統合の可能性は、将来のデバイス側 AI 機能に注目する必要があります。
PrismML は、次の目標は、今後 2 ～ 3 か月以内に数千億のパラメータを含むモデルを圧縮することであると述べています。この分野で成功すれば、フロンティアクラスのモデルに対する 3 値圧縮のスケーラビリティがさらに検証され、さらに高度な AI 機能がローカル ハードウェアで利用できるようになる可能性があります。
リリースのタイミングにより、Apple デバイスとの統合の可能性についての憶測が生まれました。 CEOのババク・ハシビ氏はAppleとの会談に関する報道についてコメントを控えたが、AppleのMLXフレームワークのサポートは、Appleのエコシステムとの戦略的連携を示唆している。公式パートナーシップやデバイス固有の最適化に関する今後の発表は、iOS および macOS プラットフォームでのローカル AI の採用に大きな影響を与える可能性があります。