AI推論の最適化

技術にはバッチ処理、キャッシュ、低精度、モデル選択、効率的な実行などがあります。すべての最適化がすべてのワークロードに役立つと考えるのではなく、測定されたボトルネックからそれらを選びましょう。

主なポイント

• 現実的な負荷をベンチマークしましょう。
• 数値変更後に品質を再テストしてください。
• 完全なリクエストの支配段階を最適化します。

現実的な入力に対してエンドツーエンドのレイテンシ、スループット、メモリ、タスク品質を測定します。コールドスタート、同時実行、長いリクエスト、キャンセルを含めましょう。1つの短いウォームアップ入力を使ったベンチマークは、ユーザー向けサービスとは限りません。バッチ処理はリクエストを同時に処理することでハードウェア利用を改善しますが、バッチ形成を待つと個々のレイテンシが増加します。キャッシュは、キャッシュキーが関連するモデル、入力、権限、バージョンをキャプチャしている場合にのみ繰り返し作業を助けます。誤ったキャッシュは古い結果や不正な結果を返すことがあります。精度や量子化の低下はメモリや計算を減少させますが、品質への影響はモデル、ハードウェア、手法、タスクによって異なります。同じ評価例を用いて元の構成と比較してください。稀で数値的に敏感なケースも含めて。完全なリクエストパスを最適化しましょう。取得、トークン化、ネットワーク転送、出力処理がモデル実行時間を支配することがあります。意味のある要素を1つずつ変更し、改善と回帰の両方を記録します。目的はより良く完成したタスクであり、より魅力的な孤立したスループット数ではありません。

1. 構築リクエストでは、モデルの実行には400ms、その他の作業はすべて600msかかります。
2. モデルを2倍に高速化することで、総時間は1,000 msから800 msに短縮され、エンドツーエンドで20%の短縮となります。
3. 他の段階を測定してから、別のモデル最適化が最も価値の高い変化であると仮定してください。

この発明されたタイミングの例は、コンポーネントのスピードアップがシステムのスピードアップと同じでない理由を示しています。