NVIDIA KI

Trennen Sie Training von Inferenzoptimierung und Serving. Ein Modell kann in einem Framework trainiert, für die Ausführung konvertiert oder optimiert und dann über einen Service bereitgestellt werden. Jede Stufe hat Kompatibilitätsanforderungen und kann das Verhalten oder den Ressourcenverbrauch des Endsystems ändern. Überprüfen Sie die spezifische Hardware, numerischen Formate, Softwareversionen und unterstützte Operationen. Eine auf einem Gerät oder zur Laufzeit verfügbare Optimierung kann auf einem anderen nicht vorhanden sein. Die für jeden Benchmark verwendete Konfiguration aufzeichnen. Speicher- und Datenbewegung zusammen mit arithmetischer Durchsatz messen. Lange Eingaben, gleichzeitige Anfragen und zwischengespeicherter Modellzustand können den Engpass verändern. Ein größerer Beschleuniger verbessert eine durch Vorverarbeitung, Netzwerkübertragung oder einen Downstream-Service begrenzte Arbeitslast nicht automatisch. Vergleichen Sie die bereitgestellten Ausgaben nach der Optimierung mit dem ursprünglichen Modell. Niedrigere Präzision und alternative Ausführungspfade können die Genauigkeit beeinflussen. Bewerten Sie Latenz, Durchsatz, Leistung und Kosten anhand der beabsichtigten Anwendungsbedingungen und konsultieren Sie aktuelle Dokumentation für Kompatibilität und Wartungsanforderungen.