Optimización de inferencia de IA

Mida la latencia, el rendimiento, la memoria y la calidad de las tareas de un extremo a otro en entradas realistas. Incluya arranques en frío, simultaneidad, solicitudes largas y cancelaciones. Es posible que un punto de referencia que utilice una breve entrada de preparación no represente un servicio orientado al usuario. El procesamiento por lotes puede mejorar el uso del hardware al procesar solicitudes en conjunto, pero esperar a formar un lote puede aumentar la latencia individual. El almacenamiento en caché ayuda al trabajo repetido solo cuando la clave de caché captura el modelo, la entrada, los permisos y la versión relevantes. El almacenamiento en caché incorrecto puede devolver resultados obsoletos o no autorizados. Una menor precisión o cuantificación puede reducir la memoria y la computación, pero el impacto en la calidad depende del modelo, el hardware, el método y la tarea. Compare con la configuración original utilizando los mismos ejemplos de evaluación, incluidos casos raros y numéricamente sensibles. Optimice la ruta completa de la solicitud. La recuperación, la tokenización, la transferencia de red y el manejo de resultados pueden dominar el tiempo de ejecución del modelo. Cambie un factor significativo a la vez y registre tanto la mejora como cualquier regresión. El objetivo es una tarea mejor completada, no una cifra de rendimiento aislada más halagadora.