Als nächstesNächster Leitfaden
Virtuelle Anprobe mit Diffusionsmodellen
Visuelle KI
Technischer Leitfaden
KServe und Model Serving auf Kubernetes
KServe ist eine standardisierte, Kubernetes-native Plattform zur Bereitstellung von Modellen für maschinelles Lernen in großem Maßstab.
Auf dieser Seite2 Minuten gelesen
Übersicht
It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.
Tiefer Einblick
Früher bekannt als KFServing und aus dem Kubeflow-Projekt hervorgegangen, definiert KServe eine benutzerdefinierte InferenceService-Ressource. Sie schreiben eine kurze YAML-Datei, die auf ein im Objektspeicher (S3, GCS, Azure Blob) gespeichertes Modell verweist, und KServe erledigt den Rest. Es unterstützt sowohl prädiktive Inferenz als auch zunehmend generative LLM-Bereitstellung. KServe liefert vorgefertigte „Serving-Laufzeiten“ für gängige Frameworks (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) und unterstützt benutzerdefinierte Container. Es basiert auf Knative Serving und einer Netzwerkschicht (Istio oder ähnlich) und bietet anforderungsgesteuerte automatische Skalierung einschließlich echter Skalierung auf Null, sodass inaktive Modelle keine Rechenleistung verbrauchen. Es standardisiert außerdem die Vorhersage-API rund um das Open Inference Protocol, sodass Clients unabhängig vom Framework mit jedem Modell auf die gleiche Weise kommunizieren.
Strategische Auswirkungen
Kosten und Budget
Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
Klarere Entscheidungen
Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
Qualitätskontrolle
Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.
Die Zukunft von KServe und Model Serving auf Kubernetes
KServe entwickelt sich schnell in Richtung generativer KI und fügt einen LLM-fokussierten Track mit Funktionen wie KV-Cache-fähigem Routing, Modell-Caching und disaggregierter Vorfüllung/Dekodierung für große Sprachmodelle hinzu. Erwarten Sie eine tiefere Integration mit Inferenz-Engines wie vLLM, eine bessere Multi-Node-Bereitstellung für Modelle, die zu groß für eine GPU sind, und Routing auf Gateway-Ebene für tokenbasierten Lastausgleich. Als CNCF-Inkubationsprojekt wird es de facto zum offenen Standard für die Bereitstellung von Modellen hinter Kubernetes und verringert so die Lücke zwischen Forschungsartefakten und robusten Produktionsendpunkten.
Reale Umsetzung
Eine Bank stellt ein Bonitätsbewertungsmodell bereit, indem sie eine 10-zeilige InferenceService-YAML schreibt, die auf das Modell in S3 verweist, wobei KServe die automatische Skalierung und den Ingress übernimmt.
Ein E-Commerce-Team nutzt die Canary-Rollouts von KServe, um 10 Prozent des Traffics an ein neues Empfehlungsmodell zu leiten, und steigert es dann auf 100 Prozent, sobald die Messwerte in Ordnung sind.
Ein Forschungslabor bedient Dutzende selten verwendeter Modelle mit einer Skalierung auf Null, sodass jedes Modell nur hochgefahren wird, wenn eine Anfrage eintrifft, und im Leerlauf keine GPU verbraucht.
Ein MLOps-Team verwendet eine KServe-Transformatorkomponente, um die Größenänderung und Normalisierung von Bildern durchzuführen, bevor der Prädiktor ein von Triton bereitgestelltes Vision-Modell ausführt.
Risiken und Leitplanken
Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
Infrastruktur- und Wartungskosten werden oft unterschätzt.
Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.
Implementierungs-Roadmap
Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
Benchmark unter realistischen Last- und Datenbedingungen.
Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the KServe and Model Serving on Kubernetes quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Häufig gestellte Fragen
What is KServe and Model Serving on Kubernetes?
KServe ist eine standardisierte, Kubernetes-native Plattform zur Bereitstellung von Modellen für maschinelles Lernen in großem Maßstab. Es bietet Teams eine einzige, deklarative Möglichkeit, Modelle mit automatischer Skalierung, Canary-Rollouts und Skalierung auf Null bereitzustellen, wodurch der Großteil der Kubernetes-Klammern abstrahiert wird.
Wie lautete der frühere Name von KServe, bevor es zu einem eigenständigen Projekt wurde?
KServe entstand als KFServing innerhalb des Kubeflow-Projekts, bevor es zu einer unabhängigen Plattform wurde.
Was ist die primäre benutzerdefinierte Kubernetes-Ressource, die Sie definieren, um ein Modell mit KServe bereitzustellen?
Sie deklarieren eine benutzerdefinierte InferenceService-Ressource, normalerweise in YAML, um ein bereitgestelltes Modell bereitzustellen und zu konfigurieren.
Welche Funktion ermöglicht es inaktiven KServe-Modellen, keine Rechenleistung zu verbrauchen, bis eine Anfrage eintrifft?
KServe basiert auf Knative und unterstützt die Skalierung auf Null, das Absenken von Replikaten auf Null, wenn kein Datenverkehr stattfindet, und einen Kaltstart bei Bedarf.
Welches zugrunde liegende Projekt stellt die anforderungsgesteuerte Autoskalierung von KServe bereit?
KServe baut auf Knative Serving auf, das Replikate basierend auf Parallelität oder Anforderungsrate skaliert und eine Skalierung auf Null ermöglicht.
Wie bringt KServe beim Start normalerweise Modellartefakte in einen Servier-Pod?
Speicherinitialisierer laden Modellartefakte vom Objektspeicher (wie S3 oder GCS) in den Pod herunter und entkoppeln so Modelle vom Image.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt