Il prossimoProssima guida
TensorRT e motori di inferenza
Tecnico
GUIDA TECNICA
Seldon Core è una piattaforma open source per la distribuzione di modelli di machine learning su Kubernetes, con una caratteristica straordinaria: i grafici di inferenza.
Ascolta questa guidaNarrato dall'IA · ~2 min
Invece di servire un modello isolato, consente di concatenare modelli, router, combinatori e trasformatori in un unico grafico diretto che viene eseguito come un unico servizio distribuibile.
Molti casi d'uso di produzione reali coinvolgono più di una singola chiamata di modello. Potresti preelaborare l'input, instradare una richiesta a uno dei diversi modelli, eseguire un insieme e quindi postelaborare il risultato. Seldon Core lo esprime come un grafico di inferenza definito in un SeldonDeployment (o, nell'architettura v2, tramite Seldon Core Operator e MLServer). Il grafico è costruito da tipi di componenti riutilizzabili: un modello serve previsioni, un trasformatore modifica input o output, un router decide quale bambino chiamare (abilitando test A/B e banditi multi-armati) e un combinatore aggrega output da più modelli per l'assemblaggio. Seldon supporta molti framework tramite server preconfezionati e wrapper Python personalizzati ed espone metriche avanzate, tracciamento distribuito e registrazione immediata del carico utile per osservabilità e spiegabilità.
Un prestatore concatena un Transformer che codifica le funzionalità one-hot in un nodo del modello, quindi un Transformer che formatta il punteggio, il tutto come un SeldonDeployment.
Una società di media utilizza un nodo router che esegue un bandito multi-armato per inviare dinamicamente più traffico a qualunque modello di raccomandazione stia guadagnando una maggiore ricompensa in termini di clic.
Un team riunisce tre modelli di frode con un nodo Combinatore che calcola la media dei loro punteggi prima di restituire un'unica decisione al chiamante.
Un assicuratore regolamentato allega la registrazione del carico utile di Seldon e gli esplicatori dell'Alibi a un grafico di inferenza in modo che ogni previsione possa essere tracciata e spiegata per gli audit.
Seldon si sta muovendo verso MLOps modulari e incentrati sui dati con la progettazione della pipeline e del flusso di dati di Core v2, oltre a un accoppiamento più stretto con il rilevamento della deriva (Alibi Detect) e la spiegabilità (Alibi Explain). Man mano che gli LLM e i sistemi ad agenti diventano grafici composti di recupero, modelli e strumenti, l'astrazione del grafico di inferenza si mappa naturalmente su questi flussi di lavoro. Aspettatevi una maggiore enfasi sull’efficienza del servizio multi-modello, sullo streaming e sull’osservabilità standardizzata in modo che i sistemi di intelligenza artificiale complessi e multi-fase rimangano debuggabili e governabili in produzione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Seldon Core è una piattaforma open source per la distribuzione di modelli di machine learning su Kubernetes, con una caratteristica straordinaria: i grafici di inferenza. Invece di servire un modello isolato, consente di concatenare modelli, router, combinatori e trasformatori in un unico grafico diretto che viene eseguito come un unico servizio distribuibile.
Seldon Core ti consente di comporre modelli, router, combinatori e trasformatori in un unico grafico di inferenza distribuito come un unico servizio.
Un Router indirizza le richieste a uno dei suoi figli e può implementare test A/B o banditi multi-armati.
Un combinatore unisce le risposte di più modelli figlio in un unico output, che è il modo in cui vengono costruiti gli insiemi.
I grafici di inferenza Seldon sono grafici aciclici diretti in cui ogni nodo è un microservizio con un'interfaccia di previsione standard.
Core v2 disaccoppia il grafico dai server modello utilizzando MLServer e Open Inference Protocol per il servizio multi-modello.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
TensorRT e motori di inferenza
Tecnico