Mi történt
A Wharton School kutatói a Nature Computational Science című folyóiratban publikáltak egy tanulmányt, amely kimutatta, hogy a szerzők saját mesterséges intelligencia tanulmányaik saját rangsorolása erősebb előrejelzője a jövőbeni tudományos idézeteknek, mint a szokásos szakértői értékelések. A tanulmány a 2023-as Nemzetközi Gépi Tanulási Konferencia (ICML) adatait elemezte, és megállapította, hogy a ICML azóta beépítette ezt az önbesorolási eltérési módszert a 2026-os felülvizsgálati folyamatába, hogy megjelölje a dokumentumokat a területi vezetők általi alaposabb vizsgálat céljából.
A Wharton School kutatói, köztük Weijie Su és Bingxin Zhao professzorok, valamint Buxin Su doktorandusz tanulmányt publikáltak a Nature Computational Science folyóiratban augusztus 24-én. A tanulmány azt vizsgálta, hogy a szerzők saját tanulmányaik saját besorolása megbízható indikátorként szolgálhat-e a mesterséges intelligencia területén a tudományos hatásról.
A kutatócsoport a 2023-as Nemzetközi Gépi Tanulási Konferencia (ICML) adatait elemezte. Önértékelést gyűjtöttek 1342 szerzőtől, 2592 beadványt lefedve. A szerzőket arra kérték, hogy tanulmányaikat rangsorolják tudományos minőségük alapján, mielőtt közzétennék a szakértői értékeléseket. A végső elemzésben 797 szerző és 1527 egyedi dolgozat szerepelt az idézettségi adatokkal való egyeztetés után.
A tanulmány azt találta, hogy a szerzőik által a legmagasabbnak tartott cikkek átlagosan kétszer annyi idézést kaptak a következő 16 hónapban, mint a legalacsonyabb helyen. Ez a minta az elfogadott és az elutasított papírokra egyaránt érvényes. Ezenkívül a szerzői rangsorok pontosabban jósolták a jövőbeli idézetek számát, mint a szakértői értékelések pontszámai. A mintában szereplő 22 dolgozat közül, amelyekre több mint 150 hivatkozás érkezett, 17-et legalább egy szerző az első helyre sorolt.
Ezen eredmények alapján a kutatók egy olyan rendszert javasoltak, ahol a szerzők rangsorolása és a bírálói pontszámok közötti különbségek alapján megjelölik a dolgozatokat közelebbi vizsgálat céljából. A ICML ezt a megközelítést beépítette 2026-os felülvizsgálati folyamatába. Egy véletlen besorolásos kísérletben azok a területi székek, akik látták az eltérési kategóriákat, körülbelül 71%-kal több megjegyzést írtak papíronként, és gyakrabban kommunikáltak a bírálókkal, mint azokkal, akik nem látták a kategóriákat.
Miért számít
A mesterséges intelligencia kutatási területe gyorsabban növekszik, mint a tapasztalt szakértői bírálók köre, ami szűk keresztmetszetet teremt a nagy hatású munka azonosításában. Ez a tanulmány gyakorlati, adatvezérelt mechanizmust biztosít a korlátozott felülvizsgálati erőforrások hatékonyabb elosztására. Azáltal, hogy saját rangsorolást használnak a bírálói pontszámokkal való eltérések megjelölésére, a konferenciák olyan tanulmányokra irányíthatják a figyelmet, amelyeket egyébként figyelmen kívül hagynának vagy rosszul ítélnének meg. Ez a megközelítés az akadémiai publikáció strukturális elégtelenségét kezeli anélkül, hogy felváltaná az emberi megítélést, ami potenciálisan javítja az elfogadott AI-kutatás általános minőségét és relevanciáját.
Az AI-kutatás gyors növekedése meghaladta a tapasztalt szakértői értékelők elérhetőségét, ami megnehezíti a nagy hatású munkák azonosítását pusztán hagyományos módszerekkel. Ez a tanulmány méretezhető megoldást kínál azáltal, hogy a szerzők saját értékeléseit felhasználva előnyben részesítik azokat a dokumentumokat, amelyek további vizsgálatot igényelnek.
A módszer nem helyettesíti a szakértői értékelést, hanem kiegészíti azt azáltal, hogy kiemeli azokat az eltéréseket, amelyek arra utalhatnak, hogy a bírálók alul- vagy túlértékelnek egy dolgozatot. Ez lehetővé teszi a területi székek számára, hogy hatékonyabban osszák be korlátozott idejüket, olyan esetekre összpontosítva, amikor a felülvizsgálati folyamatból hiányozhatnak a kulcsfontosságú árnyalatok.
A tanulmány elismeri, hogy az idézetek száma a minőség tökéletlen mutatója, mivel befolyásolhatja a téma népszerűsége, időzítése és a szerző láthatósága. Az önértékelés és az idézetek közötti szoros összefüggés azonban azt sugallja, hogy a szerzők ésszerűen érzékelik munkájuk lehetséges hatását, ami felhasználható a felülvizsgálati folyamat hatékonyságának javítására.
Interaktív mechanizmus: Hogyan működik valójában
Fedezze fel interaktívan a fejlesztés mögött meghúzódó technológiát.
Which component of an AI application is the machine-learning model itself?
Mit nézzünk ezután
Figyelemmel kíséri, hogy más jelentős mesterségesintelligencia- és gépi tanulási konferenciák alkalmaznak-e hasonló önbesorolási eltérési mechanizmusokat felülvizsgálati folyamataik során. Figyeljen a nyomon követési tanulmányokra, amelyek értékelik, hogy ez a módszer valóban javítja-e az elfogadott dolgozatok minőségét, vagy csak növeli a lektorok munkáját. Ezenkívül figyelje meg, hogy az akadémiai közösség kidolgoz-e szabványosított protokollokat az önrangsoroláshoz, hogy biztosítsa a konzisztenciát és megakadályozza a manipulációt a különböző helyszíneken.
Nem világos, hogy ezt a módszert alkalmazzák-e más nagy mesterségesintelligencia-konferenciák, például a NeurIPS vagy a ICLR. A ICML megvalósításának sikere a koncepció bizonyítékaként szolgálhat a szélesebb tudományos közösség számára.
A jövőbeli kutatásoknak meg kell határozniuk, hogy a megjelölt dokumentumok fokozott ellenőrzése jobb elfogadási döntésekhez vezet-e, vagy egyszerűen csak növeli a területi elnökök és a bírálók terheit. A jelenlegi tanulmány a felülvizsgálati folyamatban való részvételt mérte, de nem állapított meg javulást a végső döntések minőségében.
Fennáll a manipuláció veszélye, bár a kutatók úgy tervezték meg a rendszert, hogy csökkentsék az ilyen ösztönzőket azáltal, hogy elrejtik az eltérés irányát a székek elől. Az elkövetkező években fontos lesz annak nyomon követése, hogy a szerzők és lektorok hogyan alkalmazkodnak ehhez az új folyamathoz.