英伟达人工智能

GPU、CUDA 相关软件、TensorRT 和推理服务工具扮演着不同的角色。性能取决于完整的工作负载和软件堆栈，而不仅仅是供应商名称。

主要要点

• 单独的训练、优化和服务。
• 检查确切的兼容性要求。
• 衡量任务质量和全部工作量。

将训练与推理优化和服务分开。模型可以在框架中进行训练，转换或优化以执行，然后通过服务公开。每个阶段都有兼容性要求，并且可以改变最终系统的行为或资源使用。检查具体的硬件、数值格式、软件版本以及支持的操作。在一台设备或运行时上可用的优化可能在另一台设备上不可用。记录用于任何基准测试的配置。测量内存和数据移动以及算术吞吐量。长输入、并发请求和缓存的模型状态可以改变瓶颈。更大的加速器不会自动改善受预处理、网络传输或下游服务限制的工作负载。将优化后的部署输出与原始模型进行比较。较低的精度和替代执行路径可能会影响准确性。使用预期的应用条件评估延迟、吞吐量、功耗和成本，并查阅当前文档以了解兼容性和维护要求。

1. 想象一下，一个请求花费 100 毫秒进行 GPU 推理，并花费 900 毫秒加载和准备数据。
2. 两倍的推理加速比一秒请求节省了 50 毫秒。
3. 在将完全延迟归因于 GPU 计算不足之前，请调查数据加载和预处理。

发明的时序显示了为什么硬件决策需要端到端测量。