テクニカルガイド
Seldon コアと推論グラフ
Seldon Core は、Kubernetes 上に機械学習モデルをデプロイするためのオープンソース プラットフォームであり、推論グラフという傑出した機能を備えています。
このガイドを聴くAIによるナレーション · ~2 min
概要
1 つの分離されたモデルを提供するのではなく、モデル、ルーター、コンバイナー、トランスフォーマーを 1 つのデプロイ可能なサービスとして実行される単一の有向グラフにチェーンできます。
ディープダイブ
実際の運用ユースケースの多くは、複数のモデル呼び出しを必要とします。入力を前処理し、リクエストを複数のモデルの 1 つにルーティングし、アンサンブルを実行して、結果を後処理することができます。 Seldon Core は、これを SeldonDeployment (または、v2 アーキテクチャでは Seldon Core Operator および MLServer 経由) で定義された推論グラフとして表現します。グラフは再利用可能なコンポーネント タイプから構築されます。モデルは予測を提供し、トランスフォーマーは入力または出力を変更し、ルーターはどの子を呼び出すかを決定し (A/B テストとマルチアーム バンディットを有効にします)、コンバイナーはアンサンブルのために複数のモデルからの出力を集約します。 Seldon は、事前にパッケージ化されたサーバーとカスタム Python ラッパーを通じて多くのフレームワークをサポートし、豊富なメトリクス、分散トレース、ペイロード ログをすぐに利用できるようにして、可観測性と説明可能性を実現します。
現実世界の実装
貸し手は、機能をモデル ノードにワンホット エンコードする Transformer と、スコアをフォーマットする Transformer をすべて 1 つの SeldonDeployment としてチェーンします。
メディア企業は、マルチアーム バンディットを実行するルーター ノードを使用して、より高いクリック報酬を獲得しているレコメンデーション モデルにより多くのトラフィックを動的に送信します。
チームは、呼び出し元に単一の決定を返す前にスコアを平均する Combiner ノードを使用して 3 つの詐欺モデルをアンサンブルします。
規制対象の保険会社は、セルドンのペイロード ロギングと Alibi 説明ツールを推論グラフに添付して、監査のためにあらゆる予測を追跡および説明できるようにします。
セルドンコアと推論グラフの将来
セルドンは、Core v2 のパイプラインとデータフロー設計に加えて、ドリフト検出 (Alibi Detect) と説明可能性 (Alibi Explain) との緊密な結合を備えた、モジュール型のデータ中心の MLOps を目指しています。 LLM とエージェント システムが検索、モデル、ツールの複合グラフになると、推論グラフの抽象化がこれらのワークフローに自然にマッピングされます。複雑な複数ステップの AI システムが本番環境でもデバッグ可能で管理可能であり続けるように、マルチモデルの提供効率、ストリーミング、標準化された可観測性がより重視されることが期待されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
セルドンコアと推論グラフとは何ですか?
Seldon Core は、Kubernetes 上に機械学習モデルをデプロイするためのオープンソース プラットフォームであり、推論グラフという傑出した機能を備えています。 1 つの分離されたモデルを提供するのではなく、モデル、ルーター、コンバイナー、トランスフォーマーを 1 つのデプロイ可能なサービスとして実行される単一の有向グラフにチェーンできます。
Seldon Core を単一モデルのサーバーと区別する決定的な機能は何ですか?
Seldon Core を使用すると、モデル、ルーター、コンバイナー、トランスフォーマーを 1 つのサービスとして展開される単一の推論グラフに構成できます。
どのセルドン グラフ コンポーネントがリクエストを送信する子ノードを決定し、A/B テストを有効にしますか?
Router はリクエストをその子のいずれかに送信し、A/B テストやマルチアーム バンディットを実装できます。
アンサンブルのために複数のモデルからの出力を集約するコンポーネント タイプはどれですか?
Combiner は、複数の子モデルの応答を 1 つの出力にマージします。これにより、アンサンブルが構築されます。
セルダン推論グラフはどのようなグラフ構造を形成しますか?
セルドン推論グラフは、各ノードが標準の予測インターフェイスを備えたマイクロサービスである有向非巡回グラフです。
Seldon Core v2 では、グラフ全体でマルチモデルの提供を可能にするサーバーとプロトコルはどれですか?
Core v2 は、MLServer とマルチモデル サービング用の Open Inference Protocol を使用して、モデル サーバーからグラフを切り離します。