Что случилось
Исследователи из Wharton School опубликовали исследование в журнале Nature Computational Science, демонстрирующее, что самооценка авторов их собственных статей по ИИ является более сильным предиктором будущих академических цитирований, чем стандартные оценки рецензий. В исследовании были проанализированы данные Международной конференции по машинному обучению 2023 года (ICML) и обнаружено, что ICML с тех пор включила этот метод расхождения в самооценке в свой процесс проверки 2026 года, чтобы помечать статьи для более тщательного изучения отраслевыми председателями.
Исследователи Уортонской школы, в том числе профессора Вейцзе Су и Бинсинь Чжао, а также докторант Буксинь Су, опубликовали исследование в журнале Nature Computational Science 24 августа. В исследовании исследовалось, может ли самооценка собственных статей авторов служить надежным индикатором научного влияния в области искусственного интеллекта.
Исследовательская группа проанализировала данные Международной конференции по машинному обучению 2023 года (ICML). Они собрали самооценки 1342 авторов, охватывающих 2592 заявки. Перед публикацией рецензий авторов просили ранжировать свои статьи по предполагаемому научному качеству. В окончательный анализ вошли 797 авторов и 1527 уникальных статей после сопоставления с данными цитирования.
Исследование показало, что статьи, получившие самый высокий рейтинг по мнению своих авторов, получили в среднем в два раза больше цитирований в течение следующих 16 месяцев, чем те, которые имели самый низкий рейтинг. Эта закономерность сохранялась как для принятых, так и для отклоненных статей. Кроме того, рейтинги авторов более точно предсказывали будущий показатель цитирования, чем оценки рецензий. Из 22 статей выборки, получивших более 150 цитирований, 17 заняли первое место хотя бы у одного автора.
Основываясь на этих выводах, исследователи предложили систему, в которой различия между рейтингами авторов и оценками рецензентов используются для пометки статей для более тщательного изучения. ICML включил этот подход в процесс проверки на 2026 год. В рандомизированном эксперименте руководители зон, которые могли видеть категории несоответствий, писали примерно на 71% больше текста комментариев к каждой статье и чаще общались с рецензентами по сравнению с теми, кто не мог видеть категории.
Подробности об источнике: thedp.com ↗
Почему это важно
Область исследований в области искусственного интеллекта растет быстрее, чем число опытных рецензентов, что создает препятствия для выявления высокоэффективных работ. Это исследование представляет собой практический, основанный на данных механизм, позволяющий более эффективно распределять ограниченные ресурсы для проверки. Используя самооценку для выявления расхождений с оценками рецензентов, конференции могут привлечь внимание к статьям, которые в противном случае могли бы быть проигнорированы или неправильно оценены. Этот подход устраняет структурную неэффективность академических публикаций, не заменяя человеческого суждения, потенциально улучшая общее качество и актуальность признанных исследований ИИ.
Быстрый рост исследований в области искусственного интеллекта опережает наличие опытных рецензентов, что затрудняет выявление высокоэффективных работ только с помощью традиционных методов. Это исследование предлагает масштабируемое решение, используя собственные оценки авторов для определения приоритетности статей, требующих дополнительного изучения.
Этот метод не заменяет рецензирование, но дополняет его, выявляя несоответствия, которые могут указывать на то, что рецензенты недооценивают или переоценивают статью. Это позволяет региональным председателям более эффективно распределять свое ограниченное время, уделяя особое внимание случаям, когда в процессе проверки могут быть упущены ключевые нюансы.
В исследовании признается, что количество цитирований является несовершенным показателем качества, поскольку на него могут влиять популярность темы, время и известность автора. Однако сильная корреляция между самооценкой и цитированием предполагает, что авторы имеют разумное представление о потенциальном влиянии своей работы, которое можно использовать для повышения эффективности процесса рецензирования.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
Which component of an AI application is the machine-learning model itself?
Что посмотреть дальше
Следите за тем, используют ли другие крупные конференции по искусственному интеллекту и машинному обучению аналогичные механизмы несоответствия самооценки в своих процессах рассмотрения. Следите за последующими исследованиями, которые оценивают, действительно ли этот метод улучшает качество принимаемых статей или просто увеличивает рабочую нагрузку рецензентов. Кроме того, понаблюдайте, разрабатывает ли академическое сообщество стандартизированные протоколы самооценки, чтобы обеспечить согласованность и предотвратить манипуляции на разных площадках.
Неясно, будет ли этот метод принят на вооружение другими крупными конференциями по искусственному интеллекту, такими как NeurIPS или ICLR. Успех реализации ICML может послужить доказательством концепции для более широкого академического сообщества.
Будущие исследования должны будут определить, приведет ли более пристальное внимание к помеченным статьям к более качественным решениям о принятии или просто увеличит нагрузку на региональных председателей и рецензентов. Настоящее исследование измеряло участие в процессе рассмотрения, но не выявило улучшения качества окончательных решений.
Существует потенциальный риск манипуляций, хотя исследователи разработали систему, позволяющую уменьшить такие стимулы, скрывая направление несоответствия от руководителей зон. Мониторинг того, как авторы и рецензенты адаптируются к этому новому процессу, будет важен в ближайшие годы.