概述
GPU、CUDA 相关软件、TensorRT 和推理服务工具扮演着不同的角色。性能取决于完整的工作负载和软件堆栈，而不仅仅是供应商名称。
主要要点
- 单独的训练、优化和服务。
- 检查确切的兼容性要求。
- 衡量任务质量和全部工作量。
深入探讨
将训练与推理优化和服务分开。模型可以在框架中进行训练，转换或优化以执行，然后通过服务公开。每个阶段都有兼容性要求，并且可以改变最终系统的行为或资源使用。检查具体的硬件、数值格式、软件版本以及支持的操作。在一台设备或运行时上可用的优化可能在另一台设备上不可用。记录用于任何基准测试的配置。测量内存和数据移动以及算术吞吐量。长输入、并发请求和缓存的模型状态可以改变瓶颈。更大的加速器不会自动改善受预处理、网络传输或下游服务限制的工作负载。将优化后的部署输出与原始模型进行比较。较低的精度和替代执行路径可能会影响准确性。使用预期的应用条件评估延迟、吞吐量、功耗和成本，并查阅当前文档以了解兼容性和维护要求。
04工作示例
确定需要改进的阶段
想象一下，一个请求花费 100 毫秒进行 GPU 推理，并花费 900 毫秒加载和准备数据。
两倍的推理加速比一秒请求节省了 50 毫秒。
在将完全延迟归因于 GPU 计算不足之前，请调查数据加载和预处理。
它显示了什么
发明的时序显示了为什么硬件决策需要端到端测量。
现实世界的实施
在选择优化策略之前分析模型。
根据与原始模型相同的评估集验证较低精度的引擎。
付诸实践
为什么这很重要
- 供应商策略. 供应商路线图会影响您的团队接下来可以构建的功能。
- 成本与预算. 商业条款和部署选项会影响长期成本和风险。
- 风险与安全. 公司激励措施塑造了产品默认、安全态势和开放性。
留意
- 发布公告可能会超过实际生产工作流程的稳定性。
- API 定价或政策转变可能会在一夜之间打破假设。
- 单一供应商依赖性增加了锁定和迁移成本。
后续步骤
- 使用您自己的任务和数据集评估提供商。
- 在集成之前查看隐私、安全和法律条款。
- 维护跨模型或供应商的后备计划。
- 监控发行说明，以便路线图的更改不会让团队感到意外。
资料来源与延伸阅读
- NVIDIATensorRT 快速启动和部署阶段
不断探索
常见问题
使用NVIDIA GPU能否保证快速的AI应用？
不会。软件兼容性、内存、批处理、数据移动以及应用程序的其余部分决定了实际结果。