Câu đố về TensorRT và Công cụ suy luận

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. What is the goal of building an inference engine with TensorRT?
   • Guarantee the fastest possible execution on every system
   • Optimize execution of a supported trained model for the configured target
   • Choose training labels without a dataset
   • Replace every GPU with a CPU
2. Làm thế nào để hợp nhất lớp tăng tốc độ suy luận?
   • Bằng cách hợp nhất nhiều hoạt động vào một nhân GPU để giảm lưu lượng bộ nhớ
   • Bằng cách xóa các lớp không cần thiết
   • Bằng cách chạy từng lớp trên một GPU riêng biệt
   • Bằng cách chuyển đổi mô hình để chạy trên CPU
3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
   • To guarantee no accuracy change under all future inputs
   • To retrain the model from zero automatically
   • To select quantization scales suited to the observed numerical ranges
   • To remove every compatibility requirement
4. Tại sao công cụ TensorRT được biên dịch thường dành riêng cho một kiến trúc GPU?
   • Bởi vì nó được mã hóa theo số sê-ri của GPU đó
   • Bởi vì NVIDIA cấp phép cho mỗi thiết bị
   • Bởi vì nó lưu trữ dữ liệu huấn luyện bên trong động cơ
   • Bởi vì tính năng tự động điều chỉnh hạt nhân sẽ tạo ra các hạt nhân nhanh nhất để có bố cục bộ nhớ và lõi chính xác của GPU đó
5. Tính năng nào của TensorRT-LLM đặc biệt giúp phục vụ các mô hình ngôn ngữ lớn một cách hiệu quả?
   • Phân nhóm và phân trang KV-cache trong chuyến bay (liên tục)
   • Tăng cường hình ảnh tự động
   • Lưu trữ web tích hợp
   • Khử tiếng ồn
6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
   • Lower precision always preserves every output bit
   • Only the model filename affects predictions
   • Reduced numerical precision can change model outputs or quality
   • Accuracy evaluation is needed only during tokenization
7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
   • Whether the engine can accept every shape without a profile
   • Only whether the model name is short
   • Whether training can restart from a screenshot
   • Whether the profile supports that requested shape
8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
   • That any serialized engine runs unchanged everywhere
   • That the selected compatibility settings support the new environment
   • That the engine contains all its original training data
   • That every GPU shares one serial number