VolgendeVolgende gids
Modelinferentie voor automatisch schalen op Kubernetes
Technisch
Technische GIDS
KServe is een gestandaardiseerd Kubernetes-native platform voor het op schaal aanbieden van machine learning-modellen.
Luister naar deze gidsAI-verteld · ~2 min
It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.
KServe, voorheen bekend als KFServing en voortgekomen uit het Kubeflow-project, definieert een aangepaste InferenceService-bron. U schrijft een kort YAML-bestand dat verwijst naar een model dat is opgeslagen in objectopslag (S3, GCS, Azure Blob), en KServe handelt de rest af. Het ondersteunt zowel voorspellende gevolgtrekkingen als, in toenemende mate, generatieve LLM-services. KServe levert vooraf gebouwde 'serving runtimes' voor algemene raamwerken (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) en ondersteunt aangepaste containers. Het is gebouwd bovenop Knative Serving en een netwerklaag (Istio of vergelijkbaar) en biedt verzoekgestuurde automatische schaling, inclusief echte schaal-naar-nul, zodat inactieve modellen geen rekenkracht verbruiken. Het standaardiseert ook de voorspellings-API rond het Open Inference Protocol, zodat klanten op dezelfde manier met elk model praten, ongeacht het raamwerk.
Een bank implementeert een kredietscoremodel door een InferenceService YAML van 10 regels te schrijven die naar het model in S3 verwijst, waarbij KServe automatische schaling en inkomend verkeer afhandelt.
Een e-commerceteam gebruikt KServe-kanarie-implementaties om 10 procent van het verkeer naar een nieuw aanbevelingsmodel te sturen, en stijgt vervolgens naar 100 procent zodra de statistieken er gezond uitzien.
Een onderzoekslaboratorium bedient tientallen zelden gebruikte modellen met schaal-naar-nul, zodat elk model alleen draait als er een verzoek binnenkomt en geen GPU verbruikt als het niet actief is.
Een MLOps-team gebruikt een KServe-transformatorcomponent om het formaat en de normalisatie van afbeeldingen uit te voeren voordat de voorspeller een door Triton geserveerd visiemodel uitvoert.
KServe evolueert snel in de richting van generatieve AI, en voegt een LLM-gerichte track toe met functies zoals KV-cache-aware routing, model caching en gedesaggregeerde prefill/decode-serving voor grote taalmodellen. Verwacht een diepere integratie met inferentie-engines zoals vLLM, betere multi-node-service voor modellen die te groot zijn voor één GPU, en routering op gateway-niveau voor op tokens gebaseerde taakverdeling. Als een CNCF-incubatieproject wordt het de de facto open standaard voor het plaatsen van modellen achter Kubernetes, waardoor de kloof tussen onderzoeksartefacten en veerkrachtige productie-eindpunten wordt verkleind.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
KServe is een gestandaardiseerd Kubernetes-native platform voor het op schaal aanbieden van machine learning-modellen. Het geeft teams één enkele, declaratieve manier om modellen te implementeren met automatische schaling, canarische uitrol en opschalen naar nul, waardoor het grootste deel van het Kubernetes-loodgieterswerk wordt weggenomen.
KServe is ontstaan als KFServing binnen het Kubeflow-project voordat het een onafhankelijk platform werd.
U declareert een aangepaste InferenceService-resource, meestal in YAML, om een weergegeven model te implementeren en te configureren.
KServe is gebouwd op Knative en ondersteunt schaal-naar-nul, waarbij replica's naar nul worden teruggezet als er geen verkeer is en op verzoek een koude start wordt uitgevoerd.
KServe bouwt voort op Knative Serving, dat replica's schaalt op basis van gelijktijdigheid of verzoeksnelheid en schaal-naar-nul mogelijk maakt.
Opslaginitialisatoren downloaden modelartefacten van objectopslag (zoals S3 of GCS) naar de pod, waardoor modellen worden losgekoppeld van de afbeelding.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Modelinferentie voor automatisch schalen op Kubernetes
Technisch