エッジAI

リモート サービスへの依存を減らすことができます。その利点と制限は、ハードウェア、ワークロード、接続、および周囲のアプリケーションによって異なります。

主なポイント

• 実際のデバイスとワークロードをテストします。
• ピーク時のメモリと持続的な電力動作が含まれます。
• オフラインの動作、更新、データ制御を計画します。

ローカルで実行する必要があることと、延期またはサーバーに送信できることを特定します。オフライン機能には、接続が切断された場合に便利な障害モードが必要です。リモート取得にまだ依存しているローカル モデルは、完全にはオフラインではない可能性があります。実際のデバイスクラスでメモリ、コンピューティング、バッテリー使用量、発熱、持続的なパフォーマンスを測定します。ベンチマークが短いと、サーマル スロットルや他のアプリケーションとの競合が見逃される可能性があります。モデルのサイズだけでは、作業メモリと同時タスクは考慮されません。圧縮、量子化、またはより小規模なアーキテクチャはワークロードに適合するのに役立つ場合がありますが、変更のたびにタスクを評価する必要があります。照明が悪い、音声がうるさい、バッテリー残量が少ないなど、意図した環境からの困難な入力や状態を確認します。更新とデータ処理を計画します。ローカル処理によりデータ転送の一部を削減できますが、ログ、同期、接続された機能には依然としてプライバシー制御が必要です。モデルのバージョンを識別可能な状態に保ち、再接続の頻度が低いデバイス間での安全な更新またはロールバック パスをサポートします。

1. AI 機能に使用できる 2 GB のデバイスを想像してください。モデルの重みは 1.2 GB を占有し、一時バッファにはさらに 0.6 GB が必要です。
2. 他の機能のニーズが考慮されるまで、残りは 0.2 GB のみです。入力が長いと予算を超える可能性があります。
3. 重みのサイズだけで互換性を宣言するのではなく、現実的なピーク メモリをテストし、適切な制限を定義します。

算出されたメモリ バジェットは、特定のデバイスの仕様ではなく、展開上の制約を示しています。