IA de NVIDIA

Separe el entrenamiento de la optimización y el servicio de inferencias. Un modelo puede entrenarse en un marco, convertirse u optimizarse para su ejecución y luego exponerse a través de un servicio. Cada etapa tiene requisitos de compatibilidad y puede cambiar el comportamiento o el uso de recursos del sistema final. Verifique el hardware específico, los formatos numéricos, las versiones de software y las operaciones admitidas. Es posible que una optimización disponible en un dispositivo o tiempo de ejecución no esté disponible en otro. Registre la configuración utilizada para cualquier punto de referencia. Mida el movimiento de memoria y datos junto con el rendimiento aritmético. Las entradas largas, las solicitudes simultáneas y el estado del modelo en caché pueden cambiar el cuello de botella. Un acelerador más grande no mejora automáticamente una carga de trabajo limitada por el preprocesamiento, la transferencia de red o un servicio descendente. Compare la salida implementada con el modelo original después de la optimización. La menor precisión y las rutas de ejecución alternativas pueden afectar la precisión. Evalúe la latencia, el rendimiento, la potencia y el costo utilizando las condiciones de aplicación previstas y consulte la documentación actual para conocer los requisitos de compatibilidad y mantenimiento.