Aprender Noticias Herramientas Empleos Misión

Término del glosario de IA

¿Qué es Inferencia?

Definición

La fase de tiempo de ejecución donde un modelo entrenado genera predicciones o resultados.

Explore el glosario completo de IA Explora todas las guías gratuitas de IA

Punto final de inferenciaUna interfaz API implementada que recibe solicitudes de modelo y devuelve predicciones en producción.Humano en el circuitoUn flujo de trabajo en el que los humanos revisan, guían o anulan los resultados de la IA.IA constitucionalUn enfoque de capacitación y configuración del comportamiento en el que los resultados del modelo se guían por un conjunto fijo de principios escritos.Modelo destiladoUn modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.Facturación basada en el usoPrecios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.Decodificación especulativaUn método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Obtenga más información en nuestras guías gratuitas.

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Véase también

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails