GUIDA TECNICA

Kserve e Model Serving su Kubernetes

KServe è una piattaforma standardizzata e nativa di Kubernetes per servire modelli di machine learning su larga scala.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro di Kserve e il modelserving su Kubernetes
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Offre ai team un modo unico e dichiarativo per distribuire modelli con scalabilità automatica, rilasci canary e riduzione a zero, astraendo gran parte dell'infrastruttura di Kubernetes.

Immersione profonda

Precedentemente noto come KFServing e nato dal progetto Kubeflow, KServe definisce una risorsa personalizzata InferenceService. Scrivi un breve file YAML che punta a un modello archiviato nell'archiviazione di oggetti (S3, GCS, BLOB di Azure) e Kserve gestisce il resto. Supporta sia l'inferenza predittiva che, sempre più, il servizio LLM generativo. KServe fornisce "runtime di servizio" precostruiti per framework comuni (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) e supporta contenitori personalizzati. Basato su Knative Serving e su un livello di rete (Istio o simile), fornisce la scalabilità automatica basata sulle richieste, incluso il reale ridimensionamento a zero, quindi i modelli inattivi non consumano alcun calcolo. Standardizza inoltre l'API di previsione attorno al protocollo Open Inference, in modo che i client comunichino a ogni modello allo stesso modo indipendentemente dal framework.

Implementazione nel mondo reale

Una banca distribuisce un modello di credit scoring scrivendo un YAML InferenceService di 10 righe che punta al modello in S3, con KServe che gestisce la scalabilità automatica e l'ingresso.

Un team di e-commerce utilizza le implementazioni canary di Kserve per inviare il 10% del traffico a un nuovo modello di consigli, quindi aumenta al 100% una volta che le metriche sembrano integre.

Un laboratorio di ricerca serve dozzine di modelli usati raramente con scalabilità fino a zero, quindi ogni modello si avvia solo quando arriva una richiesta e non consuma GPU mentre è inattivo.

Un team MLOps utilizza un componente trasformatore KServe per eseguire il ridimensionamento e la normalizzazione delle immagini prima che il predittore esegua un modello di visione servito da Triton.

Il futuro di Kserve e il modelserving su Kubernetes

KServe si sta rapidamente evolvendo verso l'intelligenza artificiale generativa, aggiungendo un percorso incentrato sul LLM con funzionalità come routing KV-cache-aware, memorizzazione nella cache dei modelli e servizi di precompilazione/decodifica disaggregati per modelli linguistici di grandi dimensioni. Aspettatevi un'integrazione più profonda con motori di inferenza come vLLM, una migliore offerta multinodo per modelli troppo grandi per una GPU e routing a livello di gateway per il bilanciamento del carico basato su token. Essendo un progetto di incubazione del CNCF, sta diventando di fatto lo standard aperto per mettere modelli dietro Kubernetes, riducendo il divario tra artefatti di ricerca ed endpoint di produzione resilienti.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz su KServe e Model Serving su Kubernetes

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cosa sono KServe e Model Serving su Kubernetes?

KServe è una piattaforma standardizzata e nativa di Kubernetes per servire modelli di machine learning su larga scala. Offre ai team un unico modo dichiarativo per distribuire modelli con scalabilità automatica, implementazioni canary e scalabilità a zero, eliminando la maggior parte delle strutture idrauliche di Kubernetes.

Qual era il nome precedente di Kserve prima che diventasse un progetto autonomo?

KServe è nato come KFServing all'interno del progetto Kubeflow prima di diventare una piattaforma indipendente.

Qual è la risorsa personalizzata Kubernetes primaria che definisci per distribuire un modello con Kserve?

Dichiari una risorsa personalizzata InferenceService, in genere in YAML, per distribuire e configurare un modello servito.

Quale funzionalità consente ai modelli Kserve inattivi di consumare zero calcoli fino all'arrivo di una richiesta?

Basato su Knative, Kserve supporta la scalabilità fino a zero, riducendo le repliche a zero quando non c'è traffico e l'avvio a freddo su richiesta.

Quale progetto sottostante fornisce la scalabilità automatica basata sulle richieste di Kserve?

KServe si basa su Knative Serving, che ridimensiona le repliche in base alla concorrenza o al tasso di richieste e consente la scalabilità fino a zero.

In che modo Kserve in genere inserisce gli artefatti del modello in un pod di servizio all'avvio?

Gli inizializzatori di archiviazione scaricano gli artefatti del modello dall'archiviazione di oggetti (come S3 o GCS) nel pod, disaccoppiando i modelli dall'immagine.