构建 LLM 评估数据集

从实际使用开始。日志、支持票、搜索查询和用户访谈显示了人们实际询问的内容，包括发明示例所遗漏的混乱措辞。在启动之前，请领域专家编写输入。您可以添加法学硕士生成的综合案例，只要有人对其进行审查并删除不切实际或重复的项目即可。接下来，定义每种情况的正确含义。有些任务只有一个正确答案，例如分类、提取或事实查找。对于这些，存储一个黄金答案，可以精确比较或在光归一化后进行比较。对于开放式任务，请编写具体的、可检查的标准的标题，例如“提及退款截止日期”或“不推荐竞争对手”。像“有帮助”这样的模糊标准会导致评分不一致，无论评分者是个人还是评委模型。然后有目的地覆盖实际输入的范围。按意图、难度、语言和用户类型标记案例，并检查是否代表了重要的群体。添加边缘情况和对抗性输入： - 不明确的问题 - 缺少信息的请求 - 非常长的输入 - 应拒绝的超出范围的请求 - 提示注入尝试 保留由过去的失败组成的回归切片。根据其必须支持的决策调整集合的大小。几十个精心挑选的案例可以及早发现大问题。可靠地检测微小差异需要更多时间。对于 100 个通过/失败案例，通过率接近 80%，在 95% 的置信度下，误差范围大致为正负 8 个百分点。两点的改进与该大小的噪声无法区分。报告每个切片的结果，而不仅仅是总体平均值。一个常见的错误是将数据集视为已完成。产品和用户发生变化，因此请从新日志中刷新。保留一个你永远不会调整的保留部分，这样你的提示就不会过度适合测试。