Qu'est-ce que Point de terminaison d’inférence?
Définition
Une interface API déployée qui reçoit les requêtes de modèle et renvoie des prédictions en production.
Termes associés
Apprenez-en davantage dans nos guides gratuits
AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs