À suivreGuide suivant
TensorRT et moteurs d'inférence
Technique
GUIDE Technique
Seldon Core et graphiques d'inférence
Seldon Core est une plateforme open source permettant de déployer des modèles d'apprentissage automatique sur Kubernetes, avec une fonctionnalité remarquable : les graphiques d'inférence.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Au lieu de servir un modèle isolé, il vous permet de chaîner des modèles, des routeurs, des combinateurs et des transformateurs en un seul graphe orienté qui s'exécute comme un seul service déployable.
Plongée profonde
De nombreux cas d’utilisation réels en production impliquent plus d’un seul appel de modèle. Vous pouvez prétraiter les entrées, acheminer une requête vers l'un des nombreux modèles, exécuter un ensemble, puis post-traiter le résultat. Seldon Core exprime cela sous la forme d'un graphe d'inférence défini dans un SeldonDeployment (ou, dans l'architecture v2, via l'opérateur Seldon Core et MLServer). Le graphique est construit à partir de types de composants réutilisables : un modèle sert des prédictions, un transformateur modifie les entrées ou les sorties, un routeur décide quel enfant appeler (permettant les tests A/B et les bandits multi-armés) et un combinateur regroupe les sorties de plusieurs modèles pour les regrouper. Seldon prend en charge de nombreux frameworks via des serveurs préemballés et des wrappers Python personnalisés, et expose des métriques riches, un traçage distribué et une journalisation des charges utiles prêtes à l'emploi pour l'observabilité et l'explicabilité.
Mise en œuvre dans le monde réel
Un prêteur enchaîne un Transformer qui encode à chaud les fonctionnalités dans un nœud de modèle, puis un Transformer qui formate le score, le tout comme un seul SeldonDeployment.
Une entreprise de médias utilise un nœud de routeur exécutant un bandit à plusieurs bras pour envoyer dynamiquement plus de trafic vers le modèle de recommandation qui génère la récompense de clic la plus élevée.
Une équipe regroupe trois modèles de fraude avec un nœud Combiner qui fait la moyenne de leurs scores avant de renvoyer une seule décision à l'appelant.
Un assureur réglementé associe l'enregistrement de la charge utile et les explications d'alibi de Seldon à un graphique d'inférence afin que chaque prédiction puisse être retracée et expliquée pour les audits.
L'avenir de Seldon Core et des graphiques d'inférence
Seldon s'oriente vers des MLOps modulaires et centrés sur les données avec la conception de pipeline et de flux de données de Core v2, ainsi qu'un couplage plus étroit avec la détection de dérive (Alibi Detect) et l'explicabilité (Alibi Explain). À mesure que les LLM et les systèmes agents deviennent des graphes composés de récupération, de modèles et d'outils, l'abstraction du graphe d'inférence s'adapte naturellement à ces flux de travail. Attendez-vous à mettre davantage l’accent sur l’efficacité du service multimodèle, le streaming et l’observabilité standardisée afin que les systèmes d’IA complexes et en plusieurs étapes restent déboguables et gouvernables en production.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Seldon Core and Inference Graphs quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que Seldon Core et les graphiques d'inférence ?
Seldon Core est une plateforme open source permettant de déployer des modèles d'apprentissage automatique sur Kubernetes, avec une fonctionnalité remarquable : les graphiques d'inférence. Au lieu de servir un modèle isolé, il vous permet de chaîner des modèles, des routeurs, des combinateurs et des transformateurs en un seul graphe orienté qui s'exécute comme un seul service déployable.
Quelle est la caractéristique déterminante qui distingue Seldon Core d’un serveur à modèle unique ?
Seldon Core vous permet de composer des modèles, des routeurs, des combinateurs et des transformateurs dans un seul graphe d'inférence déployé comme un seul service.
Quel composant graphique Seldon décide à quel nœud enfant envoyer une requête, permettant ainsi les tests A/B ?
Un routeur dirige les requêtes vers l'un de ses enfants et peut mettre en œuvre des tests A/B ou des bandits multi-armés.
Quel type de composant regroupe les sorties de plusieurs modèles pour l’assemblage ?
Un combineur fusionne les réponses de plusieurs modèles enfants en une seule sortie, c'est ainsi que les ensembles sont construits.
Quel type de structure de graphe forme un graphe d'inférence de Seldon ?
Les graphiques d'inférence Seldon sont des graphiques acycliques dirigés où chaque nœud est un microservice avec une interface de prédiction standard.
Dans Seldon Core v2, quels serveurs et protocoles permettent une diffusion multimodèle sur le graphique ?
Core v2 dissocie le graphique des serveurs de modèles à l'aide de MLServer et du protocole Open Inference pour le service multimodèle.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet