Término del glosario de IA

¿Qué es Cálculo del tiempo de inferencia?

Definición

La cantidad de potencia de procesamiento consumida al producir cada respuesta.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Cálculo del tiempo de pruebaCálculo de inferencia adicional utilizado durante la generación de respuestas para mejorar la calidad o el razonamiento.Facturación basada en el usoPrecios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.Modelo destiladoUn modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.CalcularLos recursos de procesamiento necesarios para entrenar y ejecutar modelos, a menudo medidos en FLOPS u horas de GPU.RAG (Generación aumentada de recuperación)Un método que recupera conocimiento externo y lo alimenta a la generación en el momento de la inferencia.Impuesto de alineaciónEl costo adicional en tiempo, computación o velocidad del producto requerido para hacer que los sistemas sean más seguros y controlables.

Obtenga más información en nuestras guías gratuitas.

AI InferenceComputer VisionSentiment AnalysisReal-Time Voice Agents

Véase también

InferenceInstruction TuningIn-Context LearningIntent ClassificationHyperparameterJailbreakHuman-in-the-LoopKnowledge Cutoff