Tiếp theoHướng dẫn tiếp theo
Ghi nhật ký dự đoán và thu thập dữ liệu suy luận
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Máy chủ suy luận Triton
Triton Inference Server là nền tảng nguồn mở của NVIDIA để triển khai và phục vụ các mô hình AI trong sản xuất ở quy mô lớn.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Điều này quan trọng vì nó tiêu chuẩn hóa số lượng mô hình - trên các khung khác nhau - được lưu trữ, phân nhóm và truy cập đằng sau một API hiệu quả.
Lặn sâu
Triton nằm giữa các mô hình đã được đào tạo của bạn và các ứng dụng gọi chúng. Nó tải các mô hình từ 'kho lưu trữ mô hình' và phục vụ chúng qua HTTP/REST và gRPC. Tính năng nổi bật của nó là không phụ thuộc vào khung: một phiên bản Triton duy nhất có thể phục vụ đồng thời PyTorch, TensorFlow, ONNX, TensorRT và thậm chí cả Python hoặc các chương trình phụ trợ tùy chỉnh. Các khả năng chính bao gồm tính năng phân nhóm động, tự động nhóm các yêu cầu đến gần đúng lúc để sử dụng GPU hiệu quả hơn; thực thi mô hình đồng thời, chạy nhiều mô hình hoặc nhiều bản sao trên một GPU; và tập hợp mô hình/tập lệnh logic nghiệp vụ, xử lý chuỗi tiền xử lý, suy luận và xử lý hậu kỳ thành một đường dẫn phía máy chủ. Nó hiển thị các số liệu Prometheus, hỗ trợ tạo phiên bản mô hình và mở rộng quy mô tốt trong Kubernetes.
Triển khai trong thế giới thực
Lưu trữ mô hình phát hiện gian lận, mô hình đề xuất và phân loại hình ảnh trên một máy chủ GPU dùng chung bằng cách sử dụng thực thi mô hình đồng thời
Sử dụng tính năng phân nhóm động để cung cấp API nhận dạng hình ảnh có lưu lượng truy cập cao để các yêu cầu phân tán được nhóm lại để suy luận GPU hiệu quả
Xây dựng một tập hợp phía máy chủ chạy tiền xử lý hình ảnh, bộ phát hiện TensorRT và xử lý hậu kỳ nhãn trong một đường dẫn Triton duy nhất
Triển khai LLM với phần phụ trợ TensorRT-LLM trong Triton để truyền phản hồi của chatbot tới hàng nghìn người dùng đồng thời
Tương lai của máy chủ suy luận Triton
Triton đang phát triển theo hướng khối lượng công việc tổng hợp và mô hình lớn, tích hợp chặt chẽ với các chương trình phụ trợ kiểu TensorRT-LLM và vLLM để phát trực tuyến mã thông báo thông lượng cao. Mong đợi sự hỗ trợ sâu hơn cho việc phân phát phân tách, song song tensor nhiều GPU và nhiều nút, định tuyến nhận biết bộ đệm KV và các điểm cuối tương thích OpenAI được tiêu chuẩn hóa. Khi các tổ chức chạy hàng chục mô hình, vai trò của Triton như một lớp phục vụ thống nhất, có thể quan sát được trong Kubernetes và ngăn xếp NVIDIA Dynamo sẽ phát triển.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Triton Inference Server quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Máy chủ suy luận Triton là gì?
Triton Inference Server là nền tảng nguồn mở của NVIDIA để triển khai và phục vụ các mô hình AI trong sản xuất ở quy mô lớn. Điều này quan trọng vì nó tiêu chuẩn hóa số lượng mô hình - trên các khung khác nhau - được lưu trữ, phân nhóm và truy cập đằng sau một API hiệu quả.
Điều gì khiến Triton Inference Server trở nên 'bất khả tri về khung'?
Triton hỗ trợ đồng thời nhiều chương trình phụ trợ, do đó, các mô hình được đào tạo trong các khung khác nhau có thể được phục vụ từ cùng một máy chủ.
Tính năng tạo khối động cải thiện hiệu suất như thế nào?
Phân nhóm động chờ một cửa sổ nhỏ để hợp nhất các yêu cầu thành một lô, nâng cao mức sử dụng GPU vì GPU hoạt động hiệu quả nhất trên các lô lớn hơn.
What trade-off can Triton dynamic batching introduce?
The guide says Triton may combine compatible stateless requests within a configured queue delay; throughput and waiting latency depend on traffic, limits, model behavior, and configuration.
'Tập hợp mô hình' (hoặc tập lệnh logic nghiệp vụ) của Triton cho phép bạn làm gì?
Các tập hợp kết nối nhiều bước để một yêu cầu duy nhất kích hoạt một đường dẫn đầy đủ trên máy chủ, tránh các chuyến đi khứ hồi bổ sung tới máy khách.
What does Triton concurrent model execution permit?
Triton can execute multiple models or model instances concurrently; actual utilization depends on hardware and resource contention.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này