NVIDIA AI

GPU, phần mềm liên quan đến CUDA, TensorRT và các công cụ cung cấp suy luận đóng các vai trò khác nhau. Hiệu suất phụ thuộc vào khối lượng công việc hoàn chỉnh và ngăn xếp phần mềm, không chỉ tên nhà cung cấp.

Những điểm chính rút ra

• Đào tạo, tối ưu hóa và phục vụ riêng biệt.
• Kiểm tra yêu cầu tương thích chính xác.
• Đo lường chất lượng nhiệm vụ và khối lượng công việc đầy đủ.

Tách đào tạo khỏi tối ưu hóa suy luận và phân phối. Một mô hình có thể được đào tạo trong một khung, được chuyển đổi hoặc tối ưu hóa để thực thi và sau đó được hiển thị thông qua một dịch vụ. Mỗi giai đoạn có các yêu cầu tương thích và có thể thay đổi hành vi hoặc việc sử dụng tài nguyên của hệ thống cuối cùng. Kiểm tra phần cứng cụ thể, định dạng số, phiên bản phần mềm và hoạt động được hỗ trợ. Tính năng tối ưu hóa khả dụng trên một thiết bị hoặc thời gian chạy có thể không khả dụng trên thiết bị khác. Ghi lại cấu hình được sử dụng cho bất kỳ điểm chuẩn nào. Đo chuyển động của bộ nhớ và dữ liệu cùng với thông lượng số học. Đầu vào dài, yêu cầu đồng thời và trạng thái mô hình được lưu trong bộ nhớ đệm có thể làm thay đổi nút thắt cổ chai. Bộ tăng tốc lớn hơn không tự động cải thiện khối lượng công việc bị giới hạn bởi quá trình xử lý trước, truyền mạng hoặc dịch vụ hạ nguồn. So sánh đầu ra đã triển khai với mô hình ban đầu sau khi tối ưu hóa. Độ chính xác thấp hơn và các đường thực hiện thay thế có thể ảnh hưởng đến độ chính xác. Đánh giá độ trễ, thông lượng, công suất và chi phí bằng cách sử dụng các điều kiện ứng dụng dự kiến, đồng thời tham khảo tài liệu hiện tại về các yêu cầu về khả năng tương thích và bảo trì.

1. Hãy tưởng tượng một yêu cầu dành 100 mili giây để suy luận GPU và 900 mili giây để tải và chuẩn bị dữ liệu.
2. Tăng tốc suy luận gấp đôi giúp tiết kiệm 50 mili giây so với yêu cầu một giây.
3. Điều tra việc tải và xử lý trước dữ liệu trước khi cho rằng độ trễ hoàn toàn là do tính toán GPU không đủ.

Thời gian được phát minh cho thấy tại sao các quyết định về phần cứng lại cần đến các phép đo toàn diện.