發生了什麼事
華頓商學院的研究人員在《自然計算科學》上發表了一項研究，顯示作者對自己的人工智慧論文的自我排名比標準同儕審查分數更能預測未來的學術引用。該研究分析了 2023 年國際機器學習會議 (ICML) 的數據，發現 ICML 此後已將這種自我排名差異方法納入其 2026 年評審流程中，以標記論文以供區域主席仔細檢查。
華頓商學院的研究人員，包括教授蘇偉傑、趙冰欣和博士生蘇步新，8月24日在《自然計算科學》上發表了一項研究。該研究調查了作者對自己論文的自我排名是否可以作為人工智慧領域科學影響的可靠指標。
研究團隊分析了2023年國際機器學習會議（ICML）的數據。他們收集了 1,342 位作者的自我排名，涵蓋 2,592 篇投稿文章。在同行評審發布之前，作者被要求根據感知的科學品質對他們的論文進行排名。與引文資料相符後，最終分析包括 797 位作者和 1,527 篇獨特論文。
研究發現，作者排名最高的論文在接下來的 16 個月內平均被引用次數是排名最低的論文的兩倍。這種模式適用於接受和拒絕的論文。此外，作者排名比同儕審查分數更準確地預測未來的引用計數。在樣本中被引用超過 150 次的 22 篇論文中，有 17 篇被至少一位作者排名第一。
基於這些發現，研究人員提出了一個系統，利用作者排名和審查者分數之間的差異來標記論文以進行更仔細的檢查。 ICML 將此方法納入其 2026 年審核流程中。在一項隨機實驗中，與無法看到類別的區域主席相比，能夠看到差異類別的區域主席在每篇論文上多寫了大約 71% 的評論文本，並且與審稿人的溝通更加頻繁。
為什麼這很重要
人工智慧研究領域的發展速度超過了經驗豐富的同行評審員的數量，這為識別高影響力的工作造成了瓶頸。這項研究提供了一種實用的、數據驅動的機制，可以更有效地分配有限的審查資源。透過使用自我排名來標記與審查者分數的差異，會議可以將注意力轉移到可能被忽視或誤判的論文上。這種方法在不取代人類判斷的情況下解決了學術出版中的結構性低效率問題，有可能提高公認的人工智慧研究的整體品質和相關性。
人工智慧研究的快速發展已經超越了經驗豐富的同行評審員的能力，使得僅透過傳統方法很難識別高影響力的工作。這項研究透過利用作者自己的評估來確定需要額外審查的論文的優先順序，從而提供了一個可擴展的解決方案。
該方法不會取代同行評審，而是透過突出顯示可能表明審查者低估或高估論文的差異來增強同行評審。這使得區域主席能夠更有效地分配有限的時間，並專注於審查過程可能遺漏關鍵細微差別的案例。
研究承認，引用計數並不能完美地代表質量，因為它們可能受到主題受歡迎程度、時間和作者知名度的影響。然而，自我排名和引用之間的強相關性表明作者對其作品的潛在影響有合理的認識，可以利用它來提高評審過程的效率。
互動機制：它實際上是如何運作的
以互動方式探索這項發展背後的基礎技術。
Which component of an AI application is the machine-learning model itself?
接下來看什麼
監控其他主要人工智慧和機器學習會議在評審過程中是否採用類似的自我排名差異機制。關注後續研究，評估這種方法是否確實提高了被接受論文的質量，或者是否僅僅增加了審查者的工作量。此外，觀察學術界是否制定了自我排名的標準化協議，以確保一致性並防止不同場所之間的操縱。
目前尚不清楚該方法是否會被NeurIPS或ICLR等其他主要AI會議採用。 ICML 的成功實施可以為更廣泛的學術界提供概念證明。
未來的研究需要確定加強對標記論文的審查是否會導致更好的接受決定，或者是否只會增加區域主席和審查者的負擔。目前的研究衡量了審查過程的參與情況，但並未確定最終決策品質的改善。
儘管研究人員設計的系統透過向區域主席隱藏差異方向來減少這種激勵，但仍存在潛在的操縱風險。未來幾年，監測作者和審稿人如何適應這項新流程將非常重要。