基准污染

大型语言模型是在网络规模文本上进行训练的，其中包括 GitHub、arXiv 论文、论坛和教程网站。流行的基准在设计上是公开的，因此它们的问题、答案和讨论会在网络上复制并被纳入培训数据中。污染可以是直接的，即出现确切的测试项目，也可以是间接的，通过释义、翻译、解决方案编写或由看过基准的另一个模型生成的合成数据。如果指令数据集是从类似基准的源组装的，它也可以在微调期间进入。一个有用的区别是只看到问题和看到问题及其答案。第二个更具破坏性，因为模型可以回忆答案而不是计算出答案。结果是分数过高，并且不会转移到新问题上。实验室意识并不新鲜。 GPT-3 论文（2020）在其基准和训练数据之间进行了 13-gram 重叠分析，并承认存在错误留下了一些重叠。当训练数据可用时，重叠搜索是最直接的检查。如果不是，研究人员会使用间接方法：在测试项目开始时提示模型，看看它是否逐字完成其余部分；成员推理方法，例如 Min-K% Prob（Shi 和同事，2023），它考察模型预测文本标记的信心程度；将原始项目的分数与重写或新编写的同等项目的分数进行比较；以及基于时间的分割，比较训练截止之前和之后产生的问题。有两种常见的误解。首先，重叠并不总是能大幅提高分数；一些研究发现对某些任务的影响不大。其次，没有找到确切的重叠并不能证明基准是干净的，因为释义或翻译的副本会忽略字符串匹配。缓解措施包括私人保留的测试集、金丝雀字符串、定期刷新的基准（例如 LiveBench 和 LiveCodeBench）、净化过滤器以及发布污染分析和结果。