NVIDIA AI

Tách đào tạo khỏi tối ưu hóa suy luận và phân phối. Một mô hình có thể được đào tạo trong một khung, được chuyển đổi hoặc tối ưu hóa để thực thi và sau đó được hiển thị thông qua một dịch vụ. Mỗi giai đoạn có các yêu cầu tương thích và có thể thay đổi hành vi hoặc việc sử dụng tài nguyên của hệ thống cuối cùng. Kiểm tra phần cứng cụ thể, định dạng số, phiên bản phần mềm và hoạt động được hỗ trợ. Tính năng tối ưu hóa khả dụng trên một thiết bị hoặc thời gian chạy có thể không khả dụng trên thiết bị khác. Ghi lại cấu hình được sử dụng cho bất kỳ điểm chuẩn nào. Đo chuyển động của bộ nhớ và dữ liệu cùng với thông lượng số học. Đầu vào dài, yêu cầu đồng thời và trạng thái mô hình được lưu trong bộ nhớ đệm có thể làm thay đổi nút thắt cổ chai. Bộ tăng tốc lớn hơn không tự động cải thiện khối lượng công việc bị giới hạn bởi quá trình xử lý trước, truyền mạng hoặc dịch vụ hạ nguồn. So sánh đầu ra đã triển khai với mô hình ban đầu sau khi tối ưu hóa. Độ chính xác thấp hơn và các đường thực hiện thay thế có thể ảnh hưởng đến độ chính xác. Đánh giá độ trễ, thông lượng, công suất và chi phí bằng cách sử dụng các điều kiện ứng dụng dự kiến, đồng thời tham khảo tài liệu hiện tại về các yêu cầu về khả năng tương thích và bảo trì.