Qu’est-ce que Point de terminaison d’inférence ? Définition | AI Understanding

Définition

Une interface API déployée qui reçoit les requêtes de modèle et renvoie des prédictions en production.

Termes associés

API (interface de programmation d'applications)

Une manière structurée permettant à un système logiciel d'envoyer des requêtes et de recevoir des réponses d'un autre système.

Phase d'exécution au cours de laquelle un modèle entraîné génère des prédictions ou des sorties.

Facturation basée sur l'utilisation

Tarification où les coûts évoluent en fonction des appels d'API, des jetons, du temps d'inférence ou du calcul consommé.

Calcul du temps d'inférence

Quantité de puissance de traitement consommée lors de la production de chaque réponse.

Arbre de décision

Un modèle qui effectue des prédictions à travers une séquence de divisions de fonctionnalités si-alors.

Combiner les prédictions de plusieurs modèles pour améliorer la robustesse ou la précision.

Apprenez-en davantage dans nos guides gratuits

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Voir aussi

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA