人工智能评估基础知识

它结合了代表性的示例、明确的评分规则和错误分析。成功的API响应或精致的演示并不能证明系统能够可靠地完成预期任务。

主要要点

• 在测试前设定验收标准。
• 保持一份持续评估。
• 分别衡量内容、工作流程结果和故障处理。

先写验收标准。指定输入、预期输出、可容忍错误、响应时间限制以及导致系统弃权或升级的条件。包含一个简单的基线，以显示增加复杂性是否带来实际益处。建立独立的开发集和评估集。开发示例支持迭代;保留的测试集在做出选择后进行测试。反复调整最终测试集会将其转化为另一个开发集。记录版本以便将分数变化追溯到数据、提示、模型或评分的变化。使用适合任务的指标。分类器需要类别特定的错误分析;摘要器需要事实一致性和覆盖范围的检查;代理需要验证已完成的动作和意外副作用。包含困难案例，而不仅仅是典型输入。回顾结果时应考虑不确定性和后果。罕见的失败可能比许多无害的措辞差异更为重要。重复随机任务以理解差异，并记录评估不代表实际使用情况的地方。评估支持决策;它不能消除不确定性。

1. 准备一张虚构的发票，包含小计80、税8和总计88，再加上一张缺少总计的发票。
2. 分别对字段提取和算术一致性进行评分。要求为第二份文档提供明确缺失值。
3. 在总标签附近添加一个无关数字的案例，以检查系统是否编造出方便的答案。

该练习定义了正确性，而不仅仅是返回格式良好的 JSON。