Seldon Core et graphiques d'inférence
Seldon Core est une plateforme open source permettant de déployer des modèles d'apprentissage automatique sur Kubernetes, avec une fonctionnalité remarquable : les graphiques d'inférence.
Aperçu
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
Plongée profonde
De nombreux cas d’utilisation réels en production impliquent plus d’un seul appel de modèle. Vous pouvez prétraiter les entrées, acheminer une requête vers l'un des nombreux modèles, exécuter un ensemble, puis post-traiter le résultat. Seldon Core exprime cela sous la forme d'un graphe d'inférence défini dans un SeldonDeployment (ou, dans l'architecture v2, via l'opérateur Seldon Core et MLServer). Le graphique est construit à partir de types de composants réutilisables : un modèle sert des prédictions, un transformateur modifie les entrées ou les sorties, un routeur décide quel enfant appeler (permettant les tests A/B et les bandits multi-armés) et un combinateur regroupe les sorties de plusieurs modèles pour les regrouper. Seldon prend en charge de nombreux frameworks via des serveurs préemballés et des wrappers Python personnalisés, et expose des métriques riches, un traçage distribué et une journalisation des charges utiles prêtes à l'emploi pour l'observabilité et l'explicabilité.
Aperçu technique
Un graphe d'inférence est un graphe acyclique orienté dans lequel chaque nœud est un microservice avec une interface de prédiction standard, et l'orchestrateur de Seldon (l'orchestrateur/exécuteur du service) achemine une requête via le graphe et fusionne les réponses. Étant donné que les routeurs peuvent mettre en œuvre une logique de bandit à plusieurs bras, le trafic peut évoluer de manière adaptative vers des modèles plus performants basés sur des signaux de récompense en direct. Seldon Core v2 dissocie le graphique des serveurs de modèles individuels à l'aide de MLServer et du protocole Open Inference, permettant ainsi un service multimodèle et une surcharge sur le matériel partagé.
Impact stratégique
Coût et budget
Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
Décisions plus claires
La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
Contrôle qualité
De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
L'avenir de Seldon Core et des graphiques d'inférence
Seldon s'oriente vers des MLOps modulaires et centrés sur les données avec la conception de pipeline et de flux de données de Core v2, ainsi qu'un couplage plus étroit avec la détection de dérive (Alibi Detect) et l'explicabilité (Alibi Explain). À mesure que les LLM et les systèmes agents deviennent des graphes composés de récupération, de modèles et d'outils, l'abstraction du graphe d'inférence s'adapte naturellement à ces flux de travail. Attendez-vous à mettre davantage l’accent sur l’efficacité du service multimodèle, le streaming et l’observabilité standardisée afin que les systèmes d’IA complexes et en plusieurs étapes restent déboguables et gouvernables en production.
Mise en œuvre dans le monde réel
Un prêteur enchaîne un Transformer qui encode à chaud les fonctionnalités dans un nœud de modèle, puis un Transformer qui formate le score, le tout comme un seul SeldonDeployment.
Une entreprise de médias utilise un nœud de routeur exécutant un bandit à plusieurs bras pour envoyer dynamiquement plus de trafic vers le modèle de recommandation qui génère la récompense de clic la plus élevée.
Une équipe regroupe trois modèles de fraude avec un nœud Combiner qui fait la moyenne de leurs scores avant de renvoyer une seule décision à l'appelant.
Un assureur réglementé associe l'enregistrement de la charge utile et les explications d'alibi de Seldon à un graphique d'inférence afin que chaque prédiction puisse être retracée et expliquée pour les audits.
Risques et garde-fous
L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Feuille de route de mise en œuvre
Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
Benchmark dans des conditions de charge et de données réalistes.
Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Seldon Core and Inference Graphs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
TensorRT et moteurs d'inférence
Questions fréquemment posées
What is Seldon Core and Inference Graphs?
Seldon Core est une plateforme open source permettant de déployer des modèles d'apprentissage automatique sur Kubernetes, avec une fonctionnalité remarquable : les graphiques d'inférence. Au lieu de servir un modèle isolé, il vous permet de chaîner des modèles, des routeurs, des combinateurs et des transformateurs en un seul graphe orienté qui s'exécute comme un seul service déployable.
Quelle est la caractéristique déterminante qui distingue Seldon Core d’un serveur à modèle unique ?
Seldon Core vous permet de composer des modèles, des routeurs, des combinateurs et des transformateurs dans un seul graphe d'inférence déployé comme un seul service.
Quel composant graphique Seldon décide à quel nœud enfant envoyer une requête, permettant ainsi les tests A/B ?
Un routeur dirige les requêtes vers l'un de ses enfants et peut mettre en œuvre des tests A/B ou des bandits multi-armés.
Quel type de composant regroupe les sorties de plusieurs modèles pour l’assemblage ?
Un combineur fusionne les réponses de plusieurs modèles enfants en une seule sortie, c'est ainsi que les ensembles sont construits.
Quel type de structure de graphe forme un graphe d'inférence de Seldon ?
Les graphiques d'inférence Seldon sont des graphiques acycliques dirigés où chaque nœud est un microservice avec une interface de prédiction standard.
Dans Seldon Core v2, quels serveurs et protocoles permettent une diffusion multimodèle sur le graphique ?
Core v2 dissocie le graphique des serveurs de modèles à l'aide de MLServer et du protocole Open Inference pour le service multimodèle.