À suivreGuide suivant
Modifications spéculatives pour les modèles de code
Technique
GUIDE Technique
BentoML et emballage de modèles
BentoML est un framework Python open source qui regroupe des modèles d'apprentissage automatique entraînés dans des unités standardisées et déployables appelées « Bentos ».
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Il comble le fossé entre un modèle stocké dans un ordinateur portable et un service de production qui peut réellement fournir des prédictions via une API.
Plongée profonde
Lorsqu'un data scientist termine la formation d'un modèle, le mettre en production signifie généralement écrire manuellement du code de diffusion, épingler les dépendances, créer une image Docker et câbler une API. BentoML automatise cela. Vous enregistrez un modèle dans son magasin de modèles local, puis définissez une classe Service avec un point de terminaison d'API décoré pour gérer l'inférence. La commande « bentoml build » regroupe le modèle, votre code Python, les versions de dépendances et la configuration d'exécution dans un Bento autonome et versionné. À partir de là, « bentoml conteneurize » produit une image OCI Docker. BentoML prend en charge presque tous les frameworks (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX) et ajoute un micro-batching adaptatif, qui regroupe automatiquement les requêtes entrantes pour maximiser le débit du GPU sans modifier votre code.
Mise en œuvre dans le monde réel
Une équipe de détection de fraude enregistre un modèle XGBoost dans la boutique BentoML et crée un Bento qui expose un point de terminaison REST /predict que le service de paiement peut appeler en temps réel.
Une équipe de plateforme ML utilise « bentoml conteneurize » pour transformer un modèle de sentiment Hugging Face en une image Docker qui se déploie sur son cluster Kubernetes interne.
Une startup propose un modèle Llama affiné avec OpenLLM (construit sur BentoML), diffusant des jetons vers une interface utilisateur de chat avec un traitement par lots adaptatif gardant le GPU saturé.
Une entreprise de vision par ordinateur regroupe un classificateur d'images PyTorch avec son pipeline de prétraitement dans un seul Bento, de sorte que les transformations exactes utilisées dans la formation soient livrées avec le modèle.
L'avenir de BentoML et du packaging de modèles
BentoML s'est fortement appuyé sur un grand modèle de langage et sur le service d'IA générative, avec OpenLLM et BentoCloud offrant des réponses de jetons en streaming, une mise à l'échelle automatique et une planification prenant en charge le GPU. Attendez-vous à une intégration plus étroite avec les optimiseurs d'inférence tels que vLLM et TensorRT-LLM, à une meilleure prise en charge des systèmes d'IA composés multimodèles et à des chemins plus fluides depuis un package Bento jusqu'au déploiement de GPU sans serveur. Alors que les équipes passent de modèles uniques à des pipelines agents, BentoML se positionne comme la couche de packaging et de service qui relie ces composants entre eux.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the BentoML and Model Packaging quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que BentoML et le Model Packaging ?
BentoML est un framework Python open source qui regroupe des modèles d'apprentissage automatique entraînés dans des unités standardisées et déployables appelées « Bentos ». Il comble le fossé entre un modèle stocké dans un ordinateur portable et un service de production qui peut réellement fournir des prédictions via une API.
Quelle est l'unité standardisée et déployable produite par BentoML ?
BentoML regroupe un modèle, son code, ses dépendances et sa configuration d'exécution dans une unité autonome versionnée appelée Bento.
Qu'est-ce que le micro-batching adaptatif de BentoML améliore principalement ?
Le traitement par lots adaptatif regroupe les requêtes entrantes au moment de l'exécution pour maintenir les GPU occupés et maximiser le débit sans modification du code.
Dans l'architecture basée sur Runner de BentoML 1.1, qu'est-ce qui gère l'exécution de modèles gourmands en calcul séparément de la logique API ?
La documentation BentoML décrit les Runners comme les anciennes unités de calcul 1.1 qui pourraient s'exécuter séparément ; les versions plus récentes de BentoML rationalisent les services.
Quelle commande transforme un Bento intégré en une image OCI Docker ?
'bentoml conteneurize' produit une image OCI/Docker standard à partir d'un Bento pour le déploiement.
Laquelle de ces raisons est l'une des principales raisons pour lesquelles BentoML intègre des versions de dépendances dans un Bento ?
L'épinglage et l'intégration de l'environnement rendent le service packagé reproductible et cohérent partout où il s'exécute.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet