予測ログと推論データのキャプチャ

推論ログは、デプロイされたモデルが何を受け取り、何を返したかの記録を提供します。これらは、障害を調査し、バージョンを比較し、予測を後の結果に結合し、時間の経過とともにモデルがどのように動作するかを理解するのに役立ちます。有用なフィールドには、リクエストまたはトレース ID、タイムスタンプ、モデルおよび前処理バージョン、予測、信頼度またはスコア、関連する特徴値または保護されたデータ参照、決定しきい値、およびフォールバック ステータスが含まれる場合があります。必要なフィールドはユースケースによって異なるため、収集前に指定する必要があります。生の入力をログに記録すると、プライバシー、機密性、セキュリティ上のリスクが生じる可能性があります。プロンプト、ドキュメント、画像、および機能レコードには、個人データ、認証情報、または独自のコンテンツが含まれる場合があります。データの最小化を適用します。定義された運用または評価の目的をサポートするものを収集し、可能な場合は編集またはトークン化し、アクセスを制限し、保存期間を設定します。広くアクセス可能なメトリクス ラベルに機密情報や生の機密コンテンツを配置しないようにします。ログ ストレージと監査アクセスを保護します。サンプリングによりコストと露出は削減されますが、推論できる内容に影響します。エラーや特定のユーザー グループがサンプリングされる可能性が高い場合、単純な要約には偏りが生じます。サンプリング確率を記録し、イベントによってトリガーされたログと代表的なサンプルを区別します。後のパフォーマンス評価では、結果が正しい予測に結合されるように、安定した識別子を使用し、ラベルの成熟度ウィンドウを保持します。モデルを再トレーニングするときに古い予測を上書きしないでください。構造化されたログ、メトリクス、トレースはさまざまな目的に役立ちます。ログは個々のイベントを記録し、メトリクスは数値的な動作を集計し、サービス間で接続操作をトレースします。トレース ID は、すべてのペイロードを複製することなく、リクエストの取得、前処理、モデルの呼び出しと応答をリンクできます。アクセス制御、暗号化、保存、削除義務、インシデント対応を確認します。ロギングは説明責任とデバッグをサポートしますが、有効なグラウンド トゥルースを自動的に作成したり、代表的な評価を保証したり、すべての推論データを無期限に保持することを正当化したりするものではありません。