Il prossimoProssima guida
Inferenza del modello con scalabilità automatica su Kubernetes
Tecnico
GUIDA TECNICA
KServe è una piattaforma standardizzata e nativa di Kubernetes per servire modelli di machine learning su larga scala.
Ascolta questa guidaNarrato dall'IA · ~2 min
Offre ai team un modo unico e dichiarativo per distribuire modelli con scalabilità automatica, rilasci canary e riduzione a zero, astraendo gran parte dell'infrastruttura di Kubernetes.
Precedentemente noto come KFServing e nato dal progetto Kubeflow, KServe definisce una risorsa personalizzata InferenceService. Scrivi un breve file YAML che punta a un modello archiviato nell'archiviazione di oggetti (S3, GCS, BLOB di Azure) e Kserve gestisce il resto. Supporta sia l'inferenza predittiva che, sempre più, il servizio LLM generativo. KServe fornisce "runtime di servizio" precostruiti per framework comuni (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) e supporta contenitori personalizzati. Basato su Knative Serving e su un livello di rete (Istio o simile), fornisce la scalabilità automatica basata sulle richieste, incluso il reale ridimensionamento a zero, quindi i modelli inattivi non consumano alcun calcolo. Standardizza inoltre l'API di previsione attorno al protocollo Open Inference, in modo che i client comunichino a ogni modello allo stesso modo indipendentemente dal framework.
Una banca distribuisce un modello di credit scoring scrivendo un YAML InferenceService di 10 righe che punta al modello in S3, con KServe che gestisce la scalabilità automatica e l'ingresso.
Un team di e-commerce utilizza le implementazioni canary di Kserve per inviare il 10% del traffico a un nuovo modello di consigli, quindi aumenta al 100% una volta che le metriche sembrano integre.
Un laboratorio di ricerca serve dozzine di modelli usati raramente con scalabilità fino a zero, quindi ogni modello si avvia solo quando arriva una richiesta e non consuma GPU mentre è inattivo.
Un team MLOps utilizza un componente trasformatore KServe per eseguire il ridimensionamento e la normalizzazione delle immagini prima che il predittore esegua un modello di visione servito da Triton.
KServe si sta rapidamente evolvendo verso l'intelligenza artificiale generativa, aggiungendo un percorso incentrato sul LLM con funzionalità come routing KV-cache-aware, memorizzazione nella cache dei modelli e servizi di precompilazione/decodifica disaggregati per modelli linguistici di grandi dimensioni. Aspettatevi un'integrazione più profonda con motori di inferenza come vLLM, una migliore offerta multinodo per modelli troppo grandi per una GPU e routing a livello di gateway per il bilanciamento del carico basato su token. Essendo un progetto di incubazione del CNCF, sta diventando di fatto lo standard aperto per mettere modelli dietro Kubernetes, riducendo il divario tra artefatti di ricerca ed endpoint di produzione resilienti.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
KServe è una piattaforma standardizzata e nativa di Kubernetes per servire modelli di machine learning su larga scala. Offre ai team un unico modo dichiarativo per distribuire modelli con scalabilità automatica, implementazioni canary e scalabilità a zero, eliminando la maggior parte delle strutture idrauliche di Kubernetes.
KServe è nato come KFServing all'interno del progetto Kubeflow prima di diventare una piattaforma indipendente.
Dichiari una risorsa personalizzata InferenceService, in genere in YAML, per distribuire e configurare un modello servito.
Basato su Knative, Kserve supporta la scalabilità fino a zero, riducendo le repliche a zero quando non c'è traffico e l'avvio a freddo su richiesta.
KServe si basa su Knative Serving, che ridimensiona le repliche in base alla concorrenza o al tasso di richieste e consente la scalabilità fino a zero.
Gli inizializzatori di archiviazione scaricano gli artefatti del modello dall'archiviazione di oggetti (come S3 o GCS) nel pod, disaccoppiando i modelli dall'immagine.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Inferenza del modello con scalabilità automatica su Kubernetes
Tecnico