Término del glosario de IA

¿Qué es Punto final de inferencia?

Definición

Una interfaz API implementada que recibe solicitudes de modelo y devuelve predicciones en producción.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

API (interfaz de programación de aplicaciones)Una forma estructurada para que un sistema de software envíe solicitudes y reciba respuestas de otro sistema.InferenciaLa fase de tiempo de ejecución donde un modelo entrenado genera predicciones o resultados.Facturación basada en el usoPrecios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.Cálculo del tiempo de inferenciaLa cantidad de potencia de procesamiento consumida al producir cada respuesta.Árbol de decisiónUn modelo que hace predicciones a través de una secuencia de divisiones de características si-entonces.conjuntoCombinar predicciones de múltiples modelos para mejorar la solidez o la precisión.

Obtenga más información en nuestras guías gratuitas.

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Véase también

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI