Какво стана
Изследователи от Wharton School публикуваха проучване в Nature Computational Science, което демонстрира, че самокласирането на авторите на техните собствени статии с изкуствен интелект е по-силен предсказател за бъдещи академични цитирания, отколкото стандартните резултати от партньорска проверка. Проучването анализира данни от Международната конференция за машинно обучение през 2023 г. (ICML) и установи, че ICML оттогава е включил този метод за самокласиране на несъответствие в своя процес на преглед от 2026 г., за да маркира документи за по-внимателно разглеждане от областни столове.
Изследователите от Wharton School, включително професорите Weijie Su и Bingxin Zhao и докторантът Buxin Su, публикуваха проучване в Nature Computational Science на 24 август. Проучването изследва дали авторите на собствените си статии могат да служат като надежден индикатор за научно въздействие в областта на изкуствения интелект.
Изследователският екип анализира данни от Международната конференция за машинно обучение през 2023 г. (ICML). Те събраха самооценки от 1342 автори, обхващащи 2592 предложения. Авторите бяха помолени да класират статиите си според възприеманото научно качество, преди да бъдат публикувани партньорски рецензии. Окончателният анализ включва 797 автора и 1527 уникални статии след съпоставяне с данните за цитиране.
Проучването установи, че статиите, класирани най-високо от своите автори, са получили средно два пъти повече цитати през следващите 16 месеца от тези, класирани най-ниско. Този модел се отнася както за приетите, така и за отхвърлените документи. Освен това класацията на авторите прогнозира бъдещите цитирания по-точно от резултатите от партньорската проверка. От 22 статии в извадката, които са получили повече от 150 цитирания, 17 са класирани на първо място от поне един автор.
Въз основа на тези констатации изследователите предложиха система, при която разликите между класирането на авторите и оценките на рецензентите се използват за маркиране на документи за по-внимателно разглеждане. ICML включи този подход в своя процес на преглед от 2026 г. В рандомизиран експеримент, регионалните председатели, които можеха да видят категориите за несъответствия, написаха приблизително 71% повече текст на коментар на доклад и комуникираха по-често с рецензенти в сравнение с тези, които не можеха да видят категориите.
Детайли за източника: thedp.com ↗
Защо има значение
Изследователската област на AI се разраства по-бързо от набора от опитни рецензенти, създавайки пречка за идентифициране на работа с голямо въздействие. Това проучване предоставя практичен, базиран на данни механизъм за по-ефективно разпределяне на ограничени ресурси за преглед. Чрез използване на самокласиране за отбелязване на несъответствия с оценките на рецензентите, конференциите могат да насочат вниманието към документи, които иначе биха могли да бъдат пренебрегнати или погрешно оценени. Този подход адресира структурна неефективност в академичното публикуване, без да замества човешката преценка, като потенциално подобрява цялостното качество и уместността на приетите изследвания на ИИ.
Бързият растеж на изследванията на ИИ изпревари наличието на опитни рецензенти, което затруднява идентифицирането на работа с голямо въздействие само чрез традиционни методи. Това проучване предлага мащабируемо решение чрез използване на собствените оценки на авторите за приоритизиране на документи, които изискват допълнителна проверка.
Методът не замества партньорската проверка, но я допълва, като подчертава несъответствията, които могат да показват, че документът е под или надценен от рецензентите. Това позволява на регионалните столове да разпределят ограниченото си време по-ефективно, като се фокусират върху случаите, при които в процеса на преглед може да липсват ключови нюанси.
Проучването признава, че броят на цитиранията е несъвършен заместител на качеството, тъй като може да бъде повлиян от популярността на темата, времето и видимостта на автора. Въпреки това, силната връзка между самокласирането и цитиранията предполага, че авторите имат разумно усещане за потенциалното въздействие на тяхната работа, което може да се използва за подобряване на ефективността на процеса на преглед.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
Which component of an AI application is the machine-learning model itself?
Какво да гледате след това
Наблюдавайте дали други големи конференции за изкуствен интелект и машинно обучение приемат подобни механизми за несъответствие в самокласирането в своите процеси на преглед. Следете за последващи проучвания, които оценяват дали този метод наистина подобрява качеството на приетите документи или просто увеличава натоварването на рецензентите. Освен това, наблюдавайте дали академичната общност разработва стандартизирани протоколи за самокласиране, за да осигури последователност и да предотврати манипулиране на различни места.
Не е ясно дали този метод ще бъде възприет от други големи AI конференции като NeurIPS или ICLR. Успехът на внедряването на ICML може да послужи като доказателство за концепцията за по-широката академична общност.
Бъдещите изследвания ще трябва да определят дали засиленият контрол на маркирани документи води до по-добри решения за приемане или просто добавя към тежестта върху председателите и рецензентите. Настоящото проучване измерва участието в процеса на преглед, но не установи подобрение в качеството на окончателните решения.
Съществува потенциален риск от манипулация, въпреки че изследователите са проектирали системата, за да намалят подобни стимули, като скрият посоката на несъответствието от районните столове. Наблюдението как авторите и рецензентите се адаптират към този нов процес ще бъде важно през следващите години.