VolgendeVolgende gids
Speculatieve bewerkingen voor codemodellen
Technisch
Technische GIDS
BentoML is een open-source Python-framework dat getrainde machine learning-modellen verpakt in gestandaardiseerde, inzetbare eenheden die 'Bentos' worden genoemd.
Luister naar deze gidsAI-verteld · ~2 min
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
Wanneer een datawetenschapper klaar is met het trainen van een model, betekent het in productie nemen ervan meestal handmatig code schrijven, afhankelijkheden vastzetten, een Docker-image bouwen en een API aansluiten. BentoML automatiseert dit. U slaat een model op in de lokale modelopslag en definieert vervolgens een Service-klasse met een API-eindpunt dat is ingericht om gevolgtrekkingen af te handelen. De opdracht 'bentoml build' verpakt het model, uw Python-code, afhankelijkheidsversies en runtime-configuratie in een op zichzelf staande Bento met versiebeheer. Van daaruit produceert 'bentoml containerize' een OCI Docker-image. BentoML ondersteunt vrijwel elk raamwerk (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX) en voegt adaptieve micro-batching toe, waarmee inkomende verzoeken automatisch worden gegroepeerd om de GPU-doorvoer te maximaliseren zonder uw code te wijzigen.
Een fraudedetectieteam slaat een XGBoost-model op in de BentoML-winkel en bouwt een Bento die een /predict REST-eindpunt blootlegt dat de betalingsservice in realtime kan aanroepen.
Een ML-platformteam gebruikt 'bentoml containerize' om een Hugging Face-sentimentmodel om te zetten in een Docker-image die wordt geïmplementeerd in hun interne Kubernetes-cluster.
Een startup bedient een verfijnd Llama-model met OpenLLM (gebouwd op BentoML), waarbij tokens worden gestreamd naar een chat-gebruikersinterface met adaptieve batching waardoor de GPU verzadigd blijft.
Een computervisiebedrijf verpakt een PyTorch-beeldclassificator met zijn voorverwerkingspijplijn in één Bento, zodat de exacte transformaties die bij de training worden gebruikt, bij het model passen.
BentoML heeft zich sterk gemaakt voor grote taalmodellen en generatieve AI-services, waarbij OpenLLM en BentoCloud streaming-tokenreacties, automatische schaling en GPU-bewuste planning bieden. Verwacht een nauwere integratie met inferentie-optimizers zoals vLLM en TensorRT-LLM, betere ondersteuning voor samengestelde AI-systemen met meerdere modellen en soepelere paden van een verpakte Bento naar serverloze GPU-implementatie. Terwijl teams overstappen van afzonderlijke modellen naar agentische pijplijnen, positioneert BentoML zichzelf als de verpakkings- en serveerlaag die deze componenten met elkaar verbindt.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
BentoML is een open-source Python-framework dat getrainde machine learning-modellen verpakt in gestandaardiseerde, inzetbare eenheden die 'Bentos' worden genoemd. Het overbrugt de kloof tussen een model dat in een notebook zit en een productieservice die daadwerkelijk voorspellingen kan doen via een API.
BentoML verpakt een model, de code, afhankelijkheden en runtime-configuratie in een op zichzelf staande eenheid met versiebeheer, een Bento genaamd.
Adaptieve batching groepeert binnenkomende verzoeken tijdens runtime om GPU's bezig te houden en de doorvoer te maximaliseren zonder codewijzigingen.
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
'bentoml containerize' produceert een standaard OCI/Docker-image van een Bento voor implementatie.
Door de omgeving vast te zetten en in te sluiten, is de pakketservice reproduceerbaar en consistent, waar deze ook draait.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Speculatieve bewerkingen voor codemodellen
Technisch