概述
它询问错误的来源以及变更如何在整个服务中传播。单独优化模型可能会遗漏决定用户实际结果的部分。
主要要点
- 地图依赖关系和所有权。
- 观察反馈和测量效应。
- 测试跨组件边界的用户可见结果。
深入探讨
绘制从输入收集到最终结果的路径。包括预处理、检索、模型执行、外部工具、审查、存储和反馈。记录每个依赖的所有者和故障行为，特别是团队或服务之间的边界。寻找反馈循环。建议会影响用户所看到的内容;他们的反应成为未来数据。因此，测量可以受到被测系统的影响。改变一个阶段可能会改变到达另一个阶段的工作分布。跟踪链条中的约束。如果检索缓慢或每个输出都等待人工批准，更快的模型可能无法改善完成时间。更冗长的回答可能增加读取时间，并模糊用户所需的操作。测试组件边界的失败以及正常操作。缺失字段、过时缓存、重复事件、权限错误和延迟反馈都可能导致错误结果，而不会引发模型崩溃。维护端到端检查，验证用户可见的结果和足够的版本信息以追踪回归。
04工作示例
找到工作流程中的瓶颈
在构建式工作流程中，检索需要1秒，生成需要2秒，审核需要40秒。
如果阶段是连续的，将生成时间减半，总时间从43秒缩短到42秒。
研究为什么审核只需40秒。更好的源代码展示可能比另一个模型速度优化更重要。
它显示了什么
这些发明的时序展示了整个工作流程如何改变优化优先级。
现实世界的实施
从源文档通过检索追踪支持答案，直到最终引用的回复。
回顾推荐暴露如何影响训练数据。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录人工智能系统思维在哪些方面有帮助以及在哪些方面更简单的方法更好。
资料来源与延伸阅读
- Google ResearchML考试成绩
不断探索
常见问题
为什么更好的模型会产生更差的产品？
其输出可能与延迟、审查、数据质量、权限或界面交互不良。整个工作流程必须被评估。