モデルのライフサイクル

これは単に訓練の完了だけでなく、システムに対する継続的な責任を記述しています。各段階には特定のバージョンにたどり着く証拠が必要です。

主なポイント

• ライフサイクル全体にわたる所有権を割り当てましょう。
• システム全体の構成をバージョン化してください。
• モニタリング、ロールバック、リタイアメントの計画を立てましょう。

目的、責任ある所有者、モデルが必要かどうかの決定から始めましょう。運用条件とプロジェクトが適さない要因を定義します。これにより、技術的に興味深い実験が明確なユースケースなしにサービスになるのを防ぎます。データ、前処理、モデル、プロンプト、評価資料のバージョン化。これらのコンポーネントは相互作用します。特徴計算や検索インデックスの変更は、モデルの重みを変えずに動作を変えることができます。リリースレコードは完全な構成を特定するべきです。可能な限り段階的に展開し、前のバージョンと比較し、ロールバックルートを保持してください。起動、キャンセル、タイムアウト、依存関係の失敗、既存クライアントとの互換性をテストします。運用準備状態には、周囲のサービスとインシデントに対応する人が含まれます。展開後はシステムの健全性とタスクの成果の両方を監視します。アラートのレビュー担当者、再訓練や置き換えの正当化、古いバージョンの廃止方法を定義します。モデルファイルを削除しても、保持された入力データ、キャッシュされた出力、または依存するサービスが自動的に削除されるわけではありません。それらの資産を明示的に追跡してください。

1. 需要モデルがドルで価格を訓練し、新しいサービスがセント単位で価格を送ると想像してください。
2. モデルファイルは変更されていませんが、入力は100倍になります。入力範囲チェックは予測に頼る前に不一致を検出できます。
3. 互換性のある前処理バージョンを復元し、インシデントを回帰テストとして追加します。

この仮定の失敗は、ライフサイクル管理にデータ契約や依存関係を含む理由を示しています。