AI 基准测试

当您参加测验时，就会出现答案和解释。

1. 什么是 AI 基准测试（benchmark）？
   • 用于比较系统的一组明确的任务、数据和评分规则
   • 一种通用的智能衡量标准
   • 一种保证得分最高的模型最适合某项应用的机制
   • 模型参数列表
2. 两个系统都报告了“准确率”。在比较它们之前应该检查什么？
   • 仅模型名称
   • 仅参数数量
   • 任务定义、示例、评分规则和测试条件
   • 仅检查两份报告是否使用了相同的指标名称
3. 为什么要记录模型版本、提示词、工具、尝试次数和评估日期？
   • 记录可以保证没有数据泄露
   • 这些设置会改变基准测试的结果
   • 设置不会影响模型行为
   • 只有日期重要
4. 评估中的数据集污染是指什么？
   • 基准测试包含多种任务类型
   • 模型使用了不同的提示词
   • 数据集包含时间戳
   • 测试项目或其近似变体在开发过程中就已经可见
5. 一场100个问题的测试显示，一个模型答对81题，另一个答对83题。仅凭这一差异能说明什么？
   • 仅为观测到的计数，本身并非可靠的优势
   • 第二个模型在各方面都更好
   • 第一个模型无法完成该任务
   • 测试集受到了污染
6. 为什么平均基准测试分数会掩盖弱点？
   • 平均值总是能揭示每一次失败
   • 单一指标能同等衡量所有应用
   • 性能可能会因任务、条件或群体的不同而有所差异
   • 分数不依赖于任务组合
7. 除了任务成功率，还应该比较什么？
   • 仅参数数量
   • 成本和延迟
   • 仅排行榜排名
   • 仅结果被引用的次数
8. 为什么为应用程序添加私有评估集？
   • 它保证更高的公开分数
   • 它消除了记录提示的需求
   • 它防止所有模型错误
   • 它测试公开基准结果是否能转移到预期工作流