人工智能可观察性

它将请求与检索、模型调用、工具及最终结果连接起来。目标是调查真实行为，而不将生成的解释视为内部计算的可靠痕迹。

主要要点

• 连接指标、追踪和事件。
• 衡量任务成果和运行时间。
• 尽量减少并保护已记录的内容。

使用互补信号。指标显示延迟、错误率和资源使用等模式。追踪连接请求的各个阶段。日志描述事件，帮助解释失败或决策。稳定的请求和版本标识符使这些信号更实用。在可能的情况下添加任务级测量。技术上成功的模型调用仍可能返回未受支持的信息或未能完成请求操作。跟踪证据覆盖率、验证失败、升级和验证结果，同时关注传输健康状况。保护遥测中的敏感内容。记录每个提示和响应可以创建一个新的私有数据存储。收集诊断所需的最低要求，应用访问和保留控制，优先使用已涂黑或汇总的信息，满足相同需求。使警报可操作。识别所有者、相关阈值、诊断上下文和恢复程序。避免出现噪杂事件页面，这些事件从未导致决策。测试预期信号中是否出现故意诱发的故障，并让操作员追踪到受影响的释放。

1. 想象用户报告回答缓慢，而模型生成时间保持不变。
2. 请求追踪显示，索引更改后文档检索时间从100毫秒提升到2秒。
3. 调查这种依赖性，并用新的痕迹确认恢复，而不是无证据地替换模型。

发明的计时展示了连贯测量的价值。