概述
相关维度可以包括事实准确性、指令遵循、检索使用、稳健性、成本和响应时间。单一偏好分数很少能涵盖所有这些因素。
主要要点
- 评估完整的应用程序配置。
- 验证评分方法本身。
- 包括弃权和对抗的情况。
深入探讨
评估用户实际收到的系统。具有检索、工具和特定提示的模型的行为可能与单独测试的同一模型不同。使用评估记录保留这些设置，包括对工具调用和重试的限制。将确定性检查与需要解释的判断相结合。精确匹配适用于某些提取的字段或可执行测试，而摘要可能需要用于证据和遗漏的标题。编写标题，以便不同的审稿人可以一致地应用它，并检查分歧。模型可以协助评分，但其判断是另一个可能存在偏差的测量过程。根据独立审查的示例进行检查，在适当的情况下改变答案顺序，并检查它是否更注重冗长或风格而不是正确性。不要将一种模型批准另一种模型视为独立的证据。在相关的情况下，在检索到的材料中包括无法回答的问题、冲突的来源、长上下文案例和恶意指令。按任务和错误严重性报告结果。将失败的示例保留为回归案例，同时刷新保留的材料，这样评估就不会成为记忆的目标。
04工作示例
将帮助与事实支持分开
为模特提供一项发明政策，仅规定 14 天内可退款。
询问运费是否退还。自信的回答是不支持的，因为政策没有说。
即使发明听起来更有帮助，但识别缺失信息的答案比发明的政策更高。
它显示了什么
这个构建的案例评估证据处理而不是流畅性。
现实世界的实施
根据所提供的段落是否支持每项主张，对文件答案进行评分。
通过有意义的行为测试和审查来验证生成的代码。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
资料来源与延伸阅读
- Yen and colleaguesHELMET：评估长上下文语言模型
不断探索
常见问题
LLM法官可以取代所有人工审查吗？
它可以帮助扩展一些检查，但其可靠性需要对标题和领域进行验证。后果性或模棱两可的案件可能需要独立审查。