Terme du glossaire IA

Qu’est-ce que Point de terminaison d’inférence ?

Définition

Une interface API déployée qui reçoit les requêtes de modèle et renvoie des prédictions en production.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

API (interface de programmation d'applications)Une manière structurée permettant à un système logiciel d'envoyer des requêtes et de recevoir des réponses d'un autre système.InférencePhase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.Facturation basée sur l'utilisationTarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.Calcul du temps d'inférenceQuantité de puissance de traitement consommée lors de la production de chaque réponse.Arbre de décisionUn modèle qui effectue des prédictions à travers une séquence de divisions de fonctionnalités si-alors.EnsembleCombiner les prédictions de plusieurs modèles pour améliorer la robustesse ou la précision.

Apprenez-en davantage dans nos guides gratuits

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Voir aussi

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI