概述
分数描述了这些条件下的表现。它不是智力的通用衡量标准，也不能保证得分最高的系统最适合特定应用。
主要要点
- 阅读任务和评分规则。
- 比较等效设置。
- 将应用程序评估与公共基准一起使用。
深入探讨
在排名之前阅读任务定义。多项选择知识测试、编码练习和人类偏好比较可以衡量不同的结果。即使称为准确性的两个分数也可以使用不同的答案规则或子集。检查模型版本、提示、工具、检索权限、尝试次数和评估日期。允许多次试验的系统或外部搜索工具未在与单个独立响应相同的条件下进行测试。重现结果时记录完整的设置。当测试材料或接近变体在开发过程中可用时，数据集污染可能会削弱基准。针对公开测试的重复优化也缩小了比较的独立性。新鲜的、保留的应用程序示例有助于评估报告的功能是否转移。寻找不确定性和分组结果。小样本上的微小差异可能没有意义。将成本和延迟与任务成功进行比较，并检查失败示例。基准作为具有明确规定边界的特定能力声明的证据是最有用的。
04工作示例
解释微小的分数差异
在构建的 100 个问题测试中，系统 A 正确回答了 81 个问题，系统 B 正确回答了 83 个问题。
列出哪些问题不同，并在记录的生成设置下重复。仅两分差距并不能建立可靠的优势。
在选择要部署的系统之前，比较故障严重程度和运营成本。
它显示了什么
这些发明的结果显示了排名必须伴随的内容；它们不是对真实模型的主张。
现实世界的实施
使用相同的提示和工具访问权限重现已发布的测试。
添加代表预期工作流程的私有评估集。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
资料来源与延伸阅读
- Liang and colleagues语言模型的整体评估
不断探索
常见问题
赢得基准测试是否意味着模型在所有方面都是最好的？
不会。结果适用于基准测试的任务、示例、设置和评分规则。