Bài kiểm tra máy chủ suy luận Triton

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Điều gì khiến Triton Inference Server trở nên 'bất khả tri về khung'?
   • Một phiên bản duy nhất có thể phục vụ các mô hình từ PyTorch, TensorFlow, ONNX, TensorRT và các chương trình phụ trợ tùy chỉnh cùng một lúc
   • Nó chỉ chạy động cơ TensorRT
   • Nó chuyển đổi mọi mô hình thành Java
   • Nó yêu cầu tất cả các mô hình phải được đào tạo lại trong một khung
2. Tính năng tạo khối động cải thiện hiệu suất như thế nào?
   • Bằng cách xử lý mọi yêu cầu ngay khi nó đến, mỗi lần một yêu cầu
   • Bằng cách nhóm các yêu cầu đến gần nhau thành một nhóm duy nhất cho GPU
   • Bằng cách xóa các yêu cầu đến quá chậm
   • Bằng cách di chuyển suy luận đến CPU
3. What trade-off can Triton dynamic batching introduce?
   • Every request becomes lower latency regardless of traffic
   • It raises model accuracy by changing the weights
   • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
   • It only works when inference runs on a CPU
4. 'Tập hợp mô hình' (hoặc tập lệnh logic nghiệp vụ) của Triton cho phép bạn làm gì?
   • Đào tạo một số mô hình cùng nhau
   • Mã hóa các tập tin mô hình
   • Giảm độ chính xác của mô hình
   • Chuỗi tiền xử lý, suy luận và xử lý hậu kỳ vào một đường dẫn phía máy chủ
5. What does Triton concurrent model execution permit?
   • Multiple models or instances to execute in parallel on the same system, subject to available resources
   • Only one model may run until the server restarts
   • A model to change its weights during each request
   • Requests to bypass the scheduler and share another model output
6. Triton thường hiển thị những giao thức nào để khách hàng gửi yêu cầu suy luận?
   • Chỉ FTP
   • HTTP/REST và gRPC
   • Chỉ email
   • Chỉ Bluetooth
7. Which monitoring interface does the Triton guide say it exposes?
   • A built-in SQL reporting dashboard
   • A browser-only interactive notebook
   • Prometheus metrics
   • A mandatory cloud billing API
8. What should a serving team measure when tuning dynamic batching?
   • Only the largest possible batch size
   • Only average model parameter count
   • Only startup time on an idle server
   • Throughput and latency under representative request traffic