AI推論

通常、リクエストは入力検証、前処理、モデル、出力処理を経ます。テキスト サービスはプロンプトをトークン化し、モデルを繰り返し実行してトークンを生成し、応答を組み立てます。検索ツールや外部ツールを使用すると、モデルの周囲にさらに多くのステージを追加できます。彼らの時間とエラーは、ユーザー エクスペリエンスにカウントされます。レイテンシーとスループットを個別に測定します。レイテンシは、1 つのリクエストにかかる時間です。スループットは、システムが一定期間内に完了するリクエストの数です。リクエストをバッチ処理すると、個々のリクエストの待機時間が長くなり、スループットが向上する可能性があります。ストリーミングを使用すると、回答を完了するまでの時間を短縮することなく、回答をより早く開始できます。ハードウェア メモリはモデルの重量を超える量を収容できる必要があります。作業バッファ、同時リクエスト、キャッシュされた表現もメモリを消費します。入力と出力が長くなるとサービス コストが変化する可能性があるため、1 回の短いデモンストレーション プロンプトではなく、実際のワークロード分散をテストしてください。推論のデプロイメントには、制限、タイムアウト、およびモデルが応答できない場合の使用可能な応答が必要です。バージョン管理された評価セットを保持し、精度、バッチ処理、モデル バージョン、または前処理を変更した後に出力を比較します。最適化は、タスクに必要な品質が維持される場合にのみ役立ちます。