Inferencia de IA

Una solicitud normalmente pasa por la validación de entrada, el preprocesamiento, el modelo y el procesamiento de salida. Un servicio de texto puede tokenizar un mensaje, ejecutar el modelo repetidamente para generar tokens y ensamblar la respuesta. Las herramientas externas y de recuperación pueden agregar más etapas alrededor del modelo. Su tiempo y errores cuentan para la experiencia del usuario. Mida la latencia y el rendimiento por separado. La latencia es el tiempo que tarda una solicitud; El rendimiento es cuántas solicitudes finaliza el sistema durante un período. Las solicitudes por lotes pueden mejorar el rendimiento y al mismo tiempo aumentar la espera para una solicitud individual. La transmisión puede hacer que una respuesta comience antes sin reducir el tiempo necesario para finalizarla. La memoria del hardware debe acomodar más pesos que los del modelo. Los buffers de trabajo, las solicitudes simultáneas y las representaciones en caché también consumen memoria. Las entradas y salidas más largas pueden cambiar el costo de servicio, así que pruebe la distribución real de la carga de trabajo en lugar de una breve demostración. Una implementación de inferencia necesita límites, tiempos de espera y una respuesta utilizable cuando el modelo no puede responder. Mantenga un conjunto de evaluación versionado y compare los resultados después de cambiar la precisión, el procesamiento por lotes, las versiones del modelo o el preprocesamiento. Una optimización es útil sólo si preserva la calidad requerida por la tarea.