概述
它结合了代表性的示例、明确的评分规则和错误分析。成功的API响应或精致的演示并不能证明系统能够可靠地完成预期任务。
主要要点
- 在测试前设定验收标准。
- 保持一份持续评估。
- 分别衡量内容、工作流程结果和故障处理。
深入探讨
先写验收标准。指定输入、预期输出、可容忍错误、响应时间限制以及导致系统弃权或升级的条件。包含一个简单的基线，以显示增加复杂性是否带来实际益处。建立独立的开发集和评估集。开发示例支持迭代;保留的测试集在做出选择后进行测试。反复调整最终测试集会将其转化为另一个开发集。记录版本以便将分数变化追溯到数据、提示、模型或评分的变化。使用适合任务的指标。分类器需要类别特定的错误分析;摘要器需要事实一致性和覆盖范围的检查;代理需要验证已完成的动作和意外副作用。包含困难案例，而不仅仅是典型输入。回顾结果时应考虑不确定性和后果。罕见的失败可能比许多无害的措辞差异更为重要。重复随机任务以理解差异，并记录评估不代表实际使用情况的地方。评估支持决策;它不能消除不确定性。
04工作示例
测试发票提取器
准备一张虚构的发票，包含小计80、税8和总计88，再加上一张缺少总计的发票。
分别对字段提取和算术一致性进行评分。要求为第二份文档提供明确缺失值。
在总标签附近添加一个无关数字的案例，以检查系统是否编造出方便的答案。
它显示了什么
该练习定义了正确性，而不仅仅是返回格式良好的 JSON。
现实世界的实施
在缺少字段和冲突字段的文档上测试提取系统。
验证代理在操作后的最终状态，而不是信任其成功信息。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录人工智能评估基础知识在哪些方面有帮助以及在哪些方面更简单的方法更好。
资料来源与延伸阅读
- scikit-learn模型选择与评估
不断探索
常见问题
多少个测试样本才够？
没有普遍的计数。所需的证据依赖于变异性、罕见的失效模式、可接受的不确定性以及错误的后果。