AIクラウドアーキテクチャ

要件が異なる場合は、対話型ワークロードとバックグラウンド ワークロードを分離します。応答を待っているユーザーには制限された応答時間が必要ですが、バッチ処理ではキューや長時間実行されるジョブが使用される可能性があります。キューのステータスと再試行動作を監視可能にします。データ境界とアクセス役割を定義します。ドキュメント、埋め込み、モデル アーティファクト、ログには、異なる保持要件と許可要件がある場合があります。資格情報を適切な秘密管理に保ち、ネットワークの場所だけで認可が確立されると想定することは避けてください。容量の変更と依存関係の障害に備えて計画を立てます。自動スケーリングには時間がかかり、モデルの読み込みにコストがかかる場合があり、プロバイダーがレート制限を課す場合があります。アドミッション コントロール、バックプレッシャー、制限付き再試行を使用し、使用できない状態をクリアして、1 つの過負荷な依存関係がサービス全体を圧倒するのを防ぎます。デプロイメントのバージョンを管理し、リカバリーをテストします。互換性のあるモデルと前処理バージョン、データ移行、ロールバック手順を確認します。ストレージ、転送、失敗した試行、アイドル状態のリソースなど、有用な完了済みタスクごとのコストを測定します。 1 つの API 呼び出しの料金が安いと、全体のワークフローがより高価になる可能性があります。