IA NVIDIA

Séparez la formation de l’optimisation et de la diffusion des inférences. Un modèle peut être formé dans un framework, converti ou optimisé pour l'exécution, puis exposé via un service. Chaque étape a des exigences de compatibilité et peut modifier le comportement ou l'utilisation des ressources du système final. Vérifiez le matériel spécifique, les formats numériques, les versions du logiciel et les opérations prises en charge. Une optimisation disponible sur un appareil ou un runtime peut ne pas être disponible sur un autre. Enregistrez la configuration utilisée pour n’importe quel benchmark. Mesurez la mémoire et le mouvement des données ainsi que le débit arithmétique. Les entrées longues, les demandes simultanées et l'état du modèle mis en cache peuvent modifier le goulot d'étranglement. Un accélérateur plus grand n'améliore pas automatiquement une charge de travail limitée par le prétraitement, le transfert réseau ou un service en aval. Comparez la sortie déployée avec le modèle d'origine après optimisation. Une précision moindre et des chemins d’exécution alternatifs peuvent affecter la précision. Évaluez la latence, le débit, la puissance et le coût en utilisant les conditions d'application prévues, et consultez la documentation actuelle pour connaître les exigences de compatibilité et de maintenance.