何が起こったのか
The Register は、カスタムおよび代替 AI ハードウェアへの動きが広がっていると報告しています。そのアカウントには、Cerebras のモジュラー CS-4 ラック システム、カスタム アクセラレータ設計における Marvell の役割の増大、Google の特殊な TPU の継続使用、Waymo の自動運転車用機械学習アクセラレータの開発が含まれています。このレポートでは、いくつかの Windows カスタマイズ機能と AI 監視機能を復元する Microsoft についても説明していますが、これは別の二次スレッドです。
レジスターの 8 月 24 日のレポートは、編集者が AI データセンターにおける Nvidia の支配的な役割を超えた動きとして説明している内容に焦点を当てています。ベンダーは、単一のアクセラレータ タイプに依存するのではなく、さまざまな種類のシリコン間でワークロードを分割する傾向が強くなっています。これは、推論、つまりトレーニング済みモデルからの出力の生成を主なプレッシャー ポイントとして提示します。プロバイダーは、リクエストを処理するための電力とハードウェアのコストを制御しながら、コーディング アシスタントやその他の対話型サービスに対して高いトークン レートを望んでいます。 The Register の記事はポッドキャストのトランスクリプトと分析であるため、すべての技術的主張について独立して検証された文書ではなく、そのメディアからのレポートとして読まれる必要があります。
The Register は、Cerebras が大規模なモノリシック システムから CS-4 ラックスケール設計に移行していると報じています。以前の Cerebras システムは、電力を大量に消費する大型のウエハスケール チップを内蔵型水冷シャーシに搭載していました。新しいアプローチでは、モジュラー ラック配置に 3 つのチップを配置し、関連する電力供給機器を交換せずにコンピューティング コンポーネントを交換できるようにします。 Register によると、この設計によりクロック速度、メモリ帯域幅、入出力速度が 2 倍になり、ラック内に 3 倍のシリコンが搭載されるという。また、Cerebras は AWS および AMD と提携しており、高速トークン生成がコーディング アシスタントやその他の推論サービスの関心を集めているとも述べています。
このレポートでは、ハイパースケーラーを中心とした広範なカスタム シリコン エコシステムについて説明しています。Google は 2015 年頃から独自の Tensor Processing Unit を使用し、カスタム アクセラレータ設計の一部を Broadcom に依存していますが、マーベルは買収を通じて知的財産ポートフォリオを構築した後、カスタム XPU と接続作業で競合他社になりつつあります。この記事では、クラウド企業がサプライヤーを比較したり、単一の設計パートナーへの依存を軽減したりするための方法としてこれを組み立てていますが、特定の新しい Google とマーベルの契約については文書化していません。将来の顧客戦略や価格設定圧力に関する主張は解説であり、確立された展開ではありません。 Waymo は、障害物が出現したときにセンサーの量と低遅延が重要であるため、車両向けのカスタム機械学習アクセラレーターを公開しました。同レジスターは、ウェイモはフィールド・プログラマブル・ゲート・アレイに大きく依存しており、より高い計算密度と特定用途向け集積回路の開発の容易さを追求している可能性があるが、仕様、テスト結果、生産スケジュール、安全記録などは一切提供していない、と述べている。これとは別に、Microsoft は、移動可能な Windows 11 タスクバー、よりカスタマイズ可能なコンテキスト メニュー、およびニューラル処理ユニットのワークロードに対するタスク マネージャーの可視性をテストしています。
なぜそれが重要なのか
この移行により、AI インフラストラクチャは Nvidia GPU の 1 つのクラスへの依存が減り、特定の推論ワークロード向けに設計されたハードウェアに重点が置かれる可能性があります。 The Register が説明する実際的な目標は、応答時間の短縮、運用コストの削減、電力効率の向上、センサーとの緊密な統合です。このレポートは、現実世界の展開において、代替手段が Nvidia を大幅に上回ったことを証明していません。
実際的な重要性は、AI のパフォーマンスがモデルだけによって決まるわけではないということです。 The Register のレポートでは、ベンダーが特定の制約 (対話型ツールのトークン生成速度、データセンター ラックの電力と冷却、車両制御の遅延) を推論してハードウェアを最適化していることが示されています。これらの設計が大規模に機能する場合、企業はトレーニング、大容量推論、プレミアム低遅延リクエスト、エッジ ワークロードにさまざまなアクセラレータを選択できる可能性があります。そうすれば、AI インフラストラクチャ市場はより専門化され、顧客には汎用 GPU システムに代わる選択肢が増える可能性があります。
Cerebras が報告したラックの再設計は、見出しのパフォーマンスに関する主張では見逃されがちな運用上の問題を浮き彫りにしています。レジスターによると、以前のシステムはチップと大型シャーシ内の電力供給装置をバンドルしたコンピューティングのために約 15 キロワットを消費していました。モジュール式ラックを使用すると、たとえシリコンが異常に電力を消費する場合でも、修理やアップグレードの中断を軽減できる可能性があります。データセンターのオペレータにとっては、保守性、ケーブル配線、冷却、および故障した 1 つのコンポーネントを交換する能力が、ピーク スループットと同じくらい重要である場合があります。情報源は報告された電力やパフォーマンスの数値を独自に検証していないため、これらの利点は技術的な検討が必要な主張のままです。
サプライヤーの裾野が広がれば、交渉力や投資判断に影響を与える可能性がある。同登記所は、クラウド企業が自社のサービスに関連する機能に社内エンジニアリングを集中させながら、カスタムチップのそれほど特徴のない部分には外部の知的財産企業を利用することが多いと示唆している。 Broadcom と Marvell の間の競争により、ハイパースケーラーに別の設計ルートが与えられる可能性がありますが、カスタム シリコンではソフトウェアとサポートの義務も発生します。あるワークロードに対して効率的なチップであっても、別のワークロードにはプログラミングが困難であったり、調達が困難であったり、適合性が不十分だったりする場合があります。このレポートでは、Nvidia システムとのコスト比較は示されておらず、顧客が大規模に切り替えているという証拠も示されていません。 Waymo の例では、データセンターの経済性だけではなく、カスタム AI ハードウェアを安全性を重視した展開に接続しています。車両がセンサー入力に応答する場合、低遅延が重要であり、遠隔からの人間の介入は即時の車載処理の理想的な代替手段ではありません。それは安全性の向上を証明するものではありません。独立した評価、故障率の比較、規制による評価はありません。より狭い結論としては、自動運転車はセンサーの処理と応答時間を中心にシリコンを設計する理由となるが、社会への影響は実際の動作条件での検証に依存する、ということになる。
インタラクティブなメカニズム: 実際にどのように機能するか
この開発の背後にある基盤となるテクノロジーをインタラクティブに探索します。
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
次に見るべきもの
重要なテストは、公開されている技術文書、独立したベンチマーク、および大規模な顧客の使用の証拠です。 Cerebras の新しいラック設計、Marvell が支援するカスタム アクセラレータ、Waymo の車両用シリコンが量産に至るかどうか、またそれらのメリットがソフトウェア、サプライチェーン、メンテナンスのコストを上回るかどうかに注目してください。 Microsoft による Windows の変更は、一般公開されているかどうか、また単にシステム監視を追加するだけでなく、ユーザー制御が向上するかどうかによって判断する必要があります。
まず、Cerebras、Waymo、Google、Marvell、またはその顧客からの主要な技術資料を探します。有用な証拠には、アーキテクチャ文書、電力測定、ソフトウェア サポート、生産ステータス、明確に定義されたワークロード テストなどが含まれます。登記所の報告書は、関連企業のニュース価値のある地図を提供していますが、入手可能性、価格設定、顧客数、または独立した業績を確立していません。これらの欠落している詳細によって、その開発が業界の動きなのか、それとも主にエンジニアリング計画なのかが決まります。
次に、似たものと似たものを比較します。 1 秒あたりのトークンの数値は、モデルのサイズ、バッチ処理、精度、コンテキストの長さ、同時ユーザーの数によって異なります。カスタム アクセラレータは、1 つの狭い推論パターンには優れていますが、一般的なワークロードにはあまり役に立ちません。最新の GPU システムに対するスループット、応答遅延、生成されたトークンあたりのエネルギー、使用率、信頼性、総所有コストを測定する独立したテストに注目してください。そのような背景がなければ、AI が高速である、あるいは安価であるという主張を評価することは依然として困難です。第三に、商業関係を追跡します。 The Register は、Cerebras と AWS および AMD との提携を報じ、マーベルが以前は Broadcom と社内のハイパースケーラー チームが独占していた分野に参入すると述べています。次の重要な証拠は、それらの関係が一般にアクセス可能なサービス、指定された展開、または繰り返しの注文を生み出すかどうかです。 AWS または AMD サービスが Cerebras ハードウェアを使用する可能性があるというレポートの予想は、将来を見据えたコメントであり、展開が確認されたものではないため、同じものとして扱うべきではありません。
最後に、Waymo の車両の実装と Microsoft のソフトウェアの変更を個別に監視します。 Waymo にとって意味のある質問は、アクセラレータが量産車に搭載されているかどうか、センサーのワークロードをどのように処理するか、どのようなフォールバック システムが存在するか、どのような安全性検証が完了しているか、です。 The Register によると、Windows については、タスクバーの移動はリリース プレビュー チャネルで行われ、NPU プロセスの可視性の強化が開発中ですが、公開されるタイミングと最終的な動作は変更される可能性があります。企業が安定した可用性を公開し、独立したユーザーが結果を評価できるようになるまで、どちらのスレッドも完了したものとして表示されるべきではありません。