引导式测验 · 中等 等级
TensorRT 和推理引擎测验
应用 TensorRT 引擎优化、精度选择和形状配置文件，包括为什么部署兼容性和准确性需要实际验证。
问题 1 的 8
使用 TensorRT 构建推理引擎的目标是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 使用 TensorRT 构建推理引擎的目标是什么？
- 保证每个系统上尽可能最快的执行
- 针对配置的目标优化受支持的训练模型的执行
- 选择没有数据集的训练标签
- 将每个 GPU 替换为 CPU
- 层融合如何加速推理？
- 通过将多个操作合并到一个 GPU 内核中来减少内存流量
- 通过删除不需要的图层
- 通过在单独的 GPU 上运行每一层
- 通过转换模型在CPU上运行
- 在代表性数据 INT8 校准工作流程中，为什么要检查模型的值分布？
- 确保未来所有输入下的准确性不会发生变化
- 自动从零开始重新训练模型
- 选择适合观察到的数值范围的量化尺度
- 删除所有兼容性要求
- 为什么编译后的 TensorRT 引擎通常特定于一种 GPU 架构？
- 因为它被加密为该 GPU 的序列号
- 因为 NVIDIA 按设备授予许可
- 因为它存储了引擎内部的训练数据
- 因为内核自动调整会根据 GPU 的精确核心和内存布局烘焙最快的内核
- TensorRT-LLM 的哪些功能特别有助于高效服务大型语言模型？
- 动态（连续）批处理和分页 KV 缓存
- 自动图像增强
- 内置网络托管
- 音频降噪
- 为什么选择较低精度的 TensorRT 执行后评估任务精度？
- 较低的精度始终保留每个输出位
- 只有模型文件名影响预测
- 数值精度降低可能会改变模型输出或质量
- 仅在标记化过程中才需要进行准确性评估
- TensorRT 动态形状引擎接收其配置的轮廓范围之外的输入。部署验证应该检查什么？
- 引擎是否可以接受没有轮廓的所有形状
- 仅限型号名称是否短
- 是否可以从截图重新开始训练
- 轮廓是否支持所请求的形状
- TensorRT 引擎已移至不同的运行时和 GPU 配置。团队必须建立什么？
- 任何序列化引擎在任何地方都保持不变
- 所选兼容性设置支持新环境
- 引擎包含所有原始训练数据
- 每个 GPU 共享一个序列号