Término del glosario de IA

que es Punto final de inferencia?

Definición

Una interfaz API implementada que recibe solicitudes de modelo y devuelve predicciones en producción.

Términos relacionados

API (interfaz de programación de aplicaciones)
Una forma estructurada para que un sistema de software envíe solicitudes y reciba respuestas de otro sistema.
Inferencia
La fase de tiempo de ejecución donde un modelo entrenado genera predicciones o resultados.
Facturación basada en el uso
Precios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.
Cálculo del tiempo de inferencia
La cantidad de potencia de procesamiento consumida al producir cada respuesta.
Árbol de decisión
Un modelo que hace predicciones a través de una secuencia de divisiones de características si-entonces.
conjunto
Combinar predicciones de múltiples modelos para mejorar la solidez o la precisión.

Obtenga más información en nuestras guías gratuitas.

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

See also

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI
Explore el glosario completo de IAExplora todas las guías gratuitas de IA