Il prossimoProssima guida
Registrazione delle previsioni e acquisizione dei dati di inferenza
Tecnico
GUIDA TECNICA
Triton Inference Server è la piattaforma open source di NVIDIA per la distribuzione e la fornitura di modelli IA in produzione su larga scala.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché standardizza quanti modelli — attraverso diversi framework — sono ospitati, raggruppati e accessibili dietro un'unica API efficiente.
Triton si colloca tra i modelli addestrati e le applicazioni che li chiamano. Carica i modelli da un "repository di modelli" e li serve tramite HTTP/REST e gRPC. La sua caratteristica distintiva è l'indipendenza dal framework: una singola istanza Triton può servire contemporaneamente PyTorch, TensorFlow, ONNX, TensorRT e persino Python o backend personalizzati. Le funzionalità chiave includono il batching dinamico, che raggruppa automaticamente le richieste in arrivo che arrivano in tempo ravvicinato per utilizzare la GPU in modo più efficiente; esecuzione simultanea di modelli, esecuzione di più modelli o più copie su una GPU; e insiemi di modelli/scripting della logica aziendale, che concatenano preelaborazione, inferenza e postelaborazione in un'unica pipeline lato server. Espone le metriche Prometheus, supporta il controllo delle versioni del modello e si adatta bene a Kubernetes.
Ospitare un modello di rilevamento delle frodi, un modello di raccomandazione e un classificatore di immagini su un server GPU condiviso utilizzando l'esecuzione simultanea del modello
Utilizzo del batch dinamico per servire un'API di riconoscimento delle immagini a traffico elevato in modo che le richieste sparse vengano raggruppate per un'inferenza GPU efficiente
Costruire un insieme lato server che esegua la preelaborazione delle immagini, un rilevatore TensorRT e la postelaborazione delle etichette in un'unica pipeline Triton
Distribuzione di un LLM con un backend TensorRT-LLM in Triton per trasmettere in streaming le risposte dei chatbot a migliaia di utenti simultanei
Triton si sta evolvendo verso carichi di lavoro generativi e di grandi dimensioni, integrandosi strettamente con TensorRT-LLM e backend in stile vLLM per lo streaming di token ad alto throughput. Aspettatevi un supporto più approfondito per servizi disaggregati, parallelismo di tensori multi-GPU e multi-nodo, routing compatibile con la cache KV ed endpoint standardizzati compatibili con OpenAI. Man mano che le organizzazioni utilizzano dozzine di modelli, il ruolo di Triton come livello di servizio unificato e osservabile in Kubernetes e nello stack NVIDIA Dynamo crescerà.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Triton Inference Server è la piattaforma open source di NVIDIA per la distribuzione e la fornitura di modelli IA in produzione su larga scala. È importante perché standardizza il numero di modelli, in diversi framework, ospitati, raggruppati e accessibili tramite un'API efficiente.
Triton supporta più backend contemporaneamente, quindi i modelli addestrati in framework diversi possono essere serviti dallo stesso server.
Il batching dinamico attende una piccola finestra per unire le richieste in un batch, aumentando l'utilizzo della GPU poiché le GPU sono più efficienti su batch più grandi.
La guida afferma che Triton può combinare richieste stateless compatibili entro un ritardo di coda configurato; throughput e latenza di attesa dipendono dal traffico, dai limiti, dal comportamento del modello e dalla configurazione.
Gli ensemble connettono più passaggi in modo che una singola richiesta attivi una pipeline completa sul server, evitando ulteriori viaggi di andata e ritorno al client.
Triton può eseguire più modelli o istanze di modello contemporaneamente; l'effettiva utilizzo dipende dall'hardware e dalla competizione di risorse.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Registrazione delle previsioni e acquisizione dei dati di inferenza
Tecnico