What is Inference Endpoint? Definition | AI Understanding

Definiție

O interfață API implementată care primește cereri de model și returnează predicții în producție.

Termeni înrudiți

API (Interfață de programare a aplicației)

O modalitate structurată pentru ca un sistem software să trimită cereri și să primească răspunsuri de la un alt sistem.

Faza de rulare în care un model antrenat generează predicții sau rezultate.

Facturare bazată pe utilizare

Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.

Calcularea timpului de inferență

Cantitatea de putere de procesare consumată în timpul producerii fiecărui răspuns.

Arborele de decizie

Un model care face predicții printr-o secvență de împărțiri de caracteristici dacă-atunci.

Combinarea predicțiilor din mai multe modele pentru a îmbunătăți robustețea sau acuratețea.

Aflați mai multe în ghidurile noastre gratuite

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Vezi și

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite