概述
CPU、GPU 和专用加速器在计算、内存、连接和软件支持方面具有不同的优势。峰值算术规范本身并不能预测应用程序性能。
主要要点
- 将硬件与工作负载相匹配。
- 评估内存和软件支持。
- 比较测量的应用程序性能，而不是单独比较峰值规格。
深入探讨
从工作量开始。训练、简短的交互式推理、大批量推理和设备上处理可能会给不同的资源带来压力。矩阵运算可能很重要，但移动权重和中间数据也可能会占据所需的时间或能量。检查内存容量和带宽以及计算。该模型必须适合工作缓冲区、缓存状态和并发请求。多设备执行会增加通信成本和软件复杂性，因此聚合内存不会自动等同于一个简单的池。数字格式影响速度和表示。较低的精度可以减少存储空间并能够在兼容的硬件上实现更快的操作，但模型和任务需要评估精度变化。硬件支持、内核和执行框架决定了是否实际使用所宣传的功能。将使用可重现工作负载的系统与规定的批量大小、输入长度、精度和软件版本进行比较。测量每个有用任务的延迟、吞吐量、功率和成本。供应商演示可以为调查提供信息，但购买或部署决策需要针对预期应用的证据。
04工作示例
估计重量存储的下限
构建一个模型，其中包含 10 亿个参数，每个参数以 16 位存储。
仅权重就占据了大约 20 亿字节，即十进制单位为 2 GB。这不包括激活、缓存、运行时缓冲区和框架开销。
使用估计值作为起点，然后测量预期服务配置的实际内存。
它显示了什么
该算术给出了重量存储估计，而不是完整的硬件要求或性能声明。
现实世界的实施
在服务实际并发请求的同时测量峰值内存。
比较具有相同工作负载设置的候选硬件上的相同模型和精度。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
资料来源与延伸阅读
- NVIDIA性能优化和硬件利用率
不断探索
常见问题
每秒更多的 AI 操作是否能保证更快的响应？
不会。内存、支持的数字格式、软件、批处理以及请求路径的其余部分可能会限制实际响应时间。