Ce sa întâmplat
Cercetătorii de la Wharton School au publicat un studiu în Nature Computational Science, care demonstrează că auto-clasificările autorilor ale propriilor lucrări de inteligență artificială sunt un predictor mai puternic al citărilor academice viitoare decât scorurile standard de revizuire inter pares. Studiul a analizat datele de la Conferința internațională privind învățarea automată din 2023 (ICML) și a constatat că, de atunci, ICML a încorporat această metodă de auto-clasificare a discrepanțelor în procesul său de revizuire din 2026 pentru a semnala lucrările pentru o examinare mai atentă de către președinții de zonă.
Cercetătorii de la Wharton School, inclusiv profesorii Weijie Su și Bingxin Zhao și studentul doctorat Buxin Su, au publicat un studiu în Nature Computational Science pe 24 august. Studiul a investigat dacă auto-clasificările autorilor propriilor lucrări ar putea servi ca un indicator de încredere al impactului științific în domeniul inteligenței artificiale.
Echipa de cercetare a analizat datele de la Conferința internațională 2023 privind învățarea automată (ICML). Ei au colectat auto-clasificări de la 1.342 de autori, acoperind 2.592 de trimiteri. Autorilor li s-a cerut să-și clasifice lucrările în funcție de calitatea științifică percepută înainte de publicarea evaluărilor inter pares. Analiza finală a inclus 797 de autori și 1.527 de lucrări unice după potrivirea cu datele citate.
Studiul a constatat că lucrările clasate cel mai înalt de către autorii lor au primit în medie de două ori mai multe citări în următoarele 16 luni decât cele clasate cel mai jos. Acest model a fost valabil atât pentru lucrările acceptate, cât și pentru cele respinse. În plus, clasamentele autorilor au prezis numărul de citări viitoare cu mai multă acuratețe decât scorurile evaluate de colegi. Din cele 22 de lucrări din eșantion care au primit mai mult de 150 de citări, 17 au fost clasate pe primul loc de cel puțin un autor.
Pe baza acestor constatări, cercetătorii au propus un sistem în care diferențele dintre clasamentele autorilor și scorurile recenzenților sunt folosite pentru a semnaliza lucrările pentru o examinare mai atentă. ICML a încorporat această abordare în procesul său de revizuire din 2026. Într-un experiment randomizat, scaunele de zonă care au putut vedea categoriile de discrepanțe au scris cu aproximativ 71% mai mult text de comentarii per lucrare și au comunicat mai frecvent cu recenzenții în comparație cu cei care nu au putut vedea categoriile.
De ce contează
Domeniul de cercetare AI crește mai rapid decât grupul de evaluatori colegi cu experiență, creând un blocaj pentru identificarea lucrărilor cu impact ridicat. Acest studiu oferă un mecanism practic, bazat pe date, pentru a aloca resurse limitate de revizuire mai eficient. Prin utilizarea auto-clasificării pentru a semnala discrepanțe cu scorurile recenzenților, conferințele pot îndrepta atenția asupra lucrărilor care altfel ar putea fi trecute cu vederea sau evaluate greșit. Această abordare abordează o ineficiență structurală în publicarea academică, fără a înlocui raționamentul uman, potențial îmbunătățind calitatea generală și relevanța cercetării AI acceptate.
Creșterea rapidă a cercetării AI a depășit disponibilitatea evaluatorilor colegii cu experiență, ceea ce face dificilă identificarea lucrărilor cu impact ridicat numai prin metode tradiționale. Acest studiu oferă o soluție scalabilă prin valorificarea propriilor evaluări ale autorilor pentru a prioritiza lucrările care necesită un control suplimentar.
Metoda nu înlocuiește evaluarea inter pares, ci o sporește prin evidențierea discrepanțelor care pot indica că o lucrare este sub sau supraevaluată de către recenzori. Acest lucru permite scaunelor de zonă să-și aloce timpul limitat mai eficient, concentrându-se pe cazurile în care procesului de revizuire ar putea lipsi nuanțe cheie.
Studiul recunoaște că numărul de citări este un proxy imperfect pentru calitate, deoarece pot fi influențate de popularitatea subiectului, calendarul și vizibilitatea autorului. Cu toate acestea, corelația puternică dintre auto-clasări și citări sugerează că autorii au un simț rezonabil al impactului potențial al lucrării lor, care poate fi valorificat pentru a îmbunătăți eficiența procesului de revizuire.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
Which component of an AI application is the machine-learning model itself?
Ce să urmărești în continuare
Monitorizați dacă alte conferințe majore de IA și învățare automată adoptă mecanisme similare de discrepanță de auto-clasificare în procesele lor de evaluare. Urmăriți studii ulterioare care evaluează dacă această metodă îmbunătățește de fapt calitatea lucrărilor acceptate sau dacă doar mărește volumul de muncă al recenzenților. În plus, observați dacă comunitatea academică dezvoltă protocoale standardizate pentru auto-clasificare pentru a asigura coerența și a preveni manipularea în diferite locații.
Nu este clar dacă această metodă va fi adoptată de alte conferințe majore de IA, cum ar fi NeurIPS sau ICLR. Succesul implementării ICML poate servi ca o dovadă a conceptului pentru comunitatea academică mai largă.
Cercetările viitoare vor trebui să stabilească dacă controlul sporit al lucrărilor semnalate conduce la decizii mai bune de acceptare sau dacă pur și simplu adaugă la sarcina președintelor și evaluatorilor de zonă. Studiul actual a măsurat participarea la procesul de revizuire, dar nu a stabilit o îmbunătățire a calității deciziilor finale.
Există un risc potențial de manipulare, deși cercetătorii au conceput sistemul pentru a reduce astfel de stimulente prin ascunderea direcției discrepanței de scaunele de zonă. Monitorizarea modului în care autorii și recenzenții se adaptează la acest nou proces va fi importantă în următorii ani.