人工智能推理

分类器可以返回类别分数；语言模型可以生成标记。尽管周围系统可以单独保存信息或从反馈中学习，但推理通常使模型参数保持不变。

主要要点

• 测量整个请求路径。
• 将每个请求的延迟与吞吐量分开。
• 服务优化后重新测试质量。

请求通常经过输入验证、预处理、模型和输出处理。文本服务可以对提示进行标记，重复运行模型以生成标记，并组装响应。检索和外部工具可以在模型周围添加更多阶段。他们的时间和错误都会影响用户体验。分别测量延迟和吞吐量。延迟是指一个请求需要多长时间；吞吐量是系统在一段时间内完成的请求数量。批处理请求可以提高吞吐量，同时增加单个请求的等待时间。流媒体可以让回答更快地开始，而不会减少完成它所需的时间。硬件内存必须容纳比模型权重更多的内容。工作缓冲区、并发请求和缓存表示也会消耗内存。较长的输入和输出可能会改变服务成本，因此请测试实际的工作负载分布，而不是一个简短的演示提示。当模型无法回答时，推理部署需要限制、超时和可用的响应。保留版本化的评估集，并在更改精度、批处理、模型版本或预处理后比较输出。仅当优化保持任务所需的质量时才有用。

1. 在构建的请求中，验证需要 20 毫秒，文档检索需要 180 毫秒，模型生成需要 900 毫秒，格式化需要 30 毫秒。
2. 如果这些阶段按顺序运行，则总计时间为 1,130 毫秒。将格式化时间减半仅节省 15 毫秒。
3. 将检索时间减少到 100 毫秒可节省 80 毫秒。在并发负载下再次测量，因为排队会改变结果。

这些发明的时间安排说明了为什么优化一个小阶段可能几乎不会改变体验。