发生了什么
沃顿商学院的研究人员在《自然计算科学》上发表了一项研究，表明作者对自己的人工智能论文的自我排名比标准同行评审分数更能预测未来的学术引用。该研究分析了 2023 年国际机器学习会议 (ICML) 的数据，发现 ICML 此后已将这种自我排名差异方法纳入其 2026 年评审流程中，以标记论文以供区域主席仔细检查。
沃顿商学院的研究人员，包括教授苏伟杰、赵冰欣和博士生苏步新，8月24日在《自然计算科学》上发表了一项研究。该研究调查了作者对自己论文的自我排名是否可以作为人工智能领域科学影响力的可靠指标。
研究团队分析了2023年国际机器学习会议（ICML）的数据。他们收集了 1,342 位作者的自我排名，涵盖 2,592 篇投稿文章。在同行评审发布之前，作者被要求根据感知的科学质量对他们的论文进行排名。与引文数据匹配后，最终分析包括 797 位作者和 1,527 篇独特论文。
研究发现，作者排名最高的论文在接下来的 16 个月内平均被引用次数是排名最低的论文的两倍。这种模式适用于接受和拒绝的论文。此外，作者排名比同行评审分数更准确地预测未来的引用计数。在样本中被引用超过 150 次的 22 篇论文中，有 17 篇被至少一位作者排名第一。
基于这些发现，研究人员提出了一个系统，利用作者排名和审稿人分数之间的差异来标记论文以供更仔细的检查。 ICML 将此方法纳入其 2026 年审核流程中。在一项随机实验中，与无法看到类别的区域主席相比，能够看到差异类别的区域主席在每篇论文上多写了大约 71% 的评论文本，并且与审稿人的沟通更加频繁。
为什么这很重要
人工智能研究领域的发展速度超过了经验丰富的同行评审员的数量，这为识别高影响力的工作造成了瓶颈。这项研究提供了一种实用的、数据驱动的机制，可以更有效地分配有限的审稿资源。通过使用自我排名来标记与审稿人分数的差异，会议可以将注意力转移到可能被忽视或误判的论文上。这种方法在不取代人类判断的情况下解决了学术出版中的结构性低效率问题，有可能提高公认的人工智能研究的整体质量和相关性。
人工智能研究的快速发展已经超出了经验丰富的同行评审员的能力，使得仅通过传统方法很难识别高影响力的工作。这项研究通过利用作者自己的评估来确定需要额外审查的论文的优先顺序，从而提供了一个可扩展的解决方案。
该方法不会取代同行评审，而是通过突出显示可能表明审稿人低估或高估论文的差异来增强同行评审。这使得区域主席能够更有效地分配有限的时间，重点关注审查过程可能遗漏关键细微差别的案例。
该研究承认，引用计数并不能完美地代表质量，因为它们可能受到主题受欢迎程度、时间和作者知名度的影响。然而，自我排名和引用之间的强相关性表明作者对其作品的潜在影响有合理的认识，可以利用它来提高评审过程的效率。
互动机制：它实际上是如何运作的
以交互方式探索这一发展背后的基础技术。
Which component of an AI application is the machine-learning model itself?
接下来看什么
监控其他主要人工智能和机器学习会议在评审过程中是否采用类似的自我排名差异机制。关注后续研究，评估这种方法是否确实提高了被接受论文的质量，或者是否仅仅增加了审稿人的工作量。此外，观察学术界是否制定了自我排名的标准化协议，以确保一致性并防止不同场所之间的操纵。
目前尚不清楚该方法是否会被NeurIPS或ICLR等其他主要AI会议采用。 ICML 的成功实施可以为更广泛的学术界提供概念证明。
未来的研究需要确定加强对标记论文的审查是否会导致更好的接受决定，或者是否只会增加区域主席和审稿人的负担。当前的研究衡量了审查过程的参与情况，但并未确定最终决策质量的改进。
尽管研究人员设计的系统通过向区域主席隐藏差异方向来减少这种激励，但仍然存在潜在的操纵风险。未来几年，监测作者和审稿人如何适应这一新流程将非常重要。