Tối ưu hóa suy luận AI

Các kỹ thuật bao gồm batching, bộ nhớ đệm, độ chính xác thấp hơn, chọn mô hình và thực thi hiệu quả. Hãy chọn chúng từ điểm nghẽn đo lường thay vì cho rằng mọi tối ưu hóa đều giúp mọi khối lượng công việc.

Những điểm chính rút ra

• Đánh giá các khối lượng công việc thực tế.
• Kiểm tra lại chất lượng sau khi thay đổi số liệu.
• Tối ưu hóa giai đoạn chi phối của toàn bộ yêu cầu.

Đo độ trễ đầu-cuối, thông lượng, bộ nhớ và chất lượng tác vụ trên các đầu vào thực tế. Bao gồm khởi động lạnh, đồng thời, yêu cầu dài và hủy bỏ. Một bài đánh giá sử dụng một đầu vào ngắn được làm nóng có thể không đại diện cho dịch vụ hướng tới người dùng. Xử lý theo lô có thể cải thiện việc sử dụng phần cứng bằng cách xử lý yêu cầu cùng lúc, nhưng chờ để tạo thành lô có thể làm tăng độ trễ cá nhân. Bộ nhớ đệm chỉ giúp công việc lặp lại khi khóa bộ nhớ đệm ghi lại mô hình, đầu vào, quyền và phiên bản liên quan. Bộ nhớ đệm sai có thể trả về kết quả lỗi thời hoặc không được phép. Độ chính xác thấp hoặc lượng tử hóa có thể giảm bộ nhớ và tính toán, nhưng tác động chất lượng phụ thuộc vào mô hình, phần cứng, phương pháp và nhiệm vụ. So sánh với cấu hình gốc bằng cùng các ví dụ đánh giá, bao gồm các trường hợp hiếm và nhạy số học. Tối ưu hóa toàn bộ đường dẫn yêu cầu. Truy xuất, mã hóa, truyền mạng và xử lý đầu ra có thể chiếm ưu thế trong thời gian thực thi mô hình. Thay đổi từng yếu tố có ý nghĩa và ghi lại cả cải tiến lẫn hồi quy. Mục tiêu là một nhiệm vụ hoàn thành tốt hơn, chứ không phải một con số thông lượng đơn lẻ đẹp mắt hơn.

1. Trong một yêu cầu được xây dựng, việc thực thi mô hình mất 400 ms và tất cả các công việc khác mất 600 ms.
2. Việc làm mô hình nhanh gấp đôi giúp giảm tổng thời gian từ 1.000 ms xuống còn 800 ms: giảm 20% từ đầu đến cuối.
3. Đo lường các giai đoạn khác trước khi cho rằng tối ưu hóa mô hình khác là thay đổi có giá trị cao nhất.

Ví dụ về thời gian được sáng tạo minh họa tại sao một tăng tốc thành phần không giống với tăng tốc hệ thống.