Apa yang berlaku
Penyelidik di Sekolah Wharton menerbitkan satu kajian dalam Sains Pengiraan Alam yang menunjukkan bahawa pemeringkatan diri pengarang bagi kertas AI mereka sendiri adalah peramal yang lebih kuat bagi petikan akademik masa depan daripada skor semakan rakan sebaya standard. Kajian itu menganalisis data daripada Persidangan Antarabangsa mengenai Pembelajaran Mesin (ICML) 2023 dan mendapati bahawa ICML sejak itu telah memasukkan kaedah percanggahan kedudukan sendiri ini ke dalam proses semakan 2026 untuk membenderakan kertas untuk pemeriksaan lebih dekat mengikut kerusi kawasan.
Penyelidik Sekolah Wharton, termasuk profesor Weijie Su dan Bingxin Zhao dan pelajar kedoktoran Buxin Su, menerbitkan satu kajian dalam Sains Pengiraan Alam pada 24 Ogos. Kajian itu menyiasat sama ada penarafan diri pengarang kertas mereka sendiri boleh berfungsi sebagai penunjuk yang boleh dipercayai tentang kesan saintifik dalam bidang kecerdasan buatan.
Pasukan penyelidik menganalisis data daripada Persidangan Antarabangsa mengenai Pembelajaran Mesin 2023 (ICML). Mereka mengumpul kedudukan diri daripada 1,342 pengarang yang meliputi 2,592 penyerahan. Pengarang diminta untuk menilai kertas mereka mengikut kualiti saintifik yang dilihat sebelum ulasan rakan sebaya dikeluarkan. Analisis akhir termasuk 797 pengarang dan 1,527 kertas unik selepas dipadankan dengan data petikan.
Kajian mendapati bahawa kertas yang mendapat kedudukan tertinggi oleh pengarangnya menerima purata dua kali lebih banyak petikan dalam tempoh 16 bulan berikutnya berbanding yang berada di kedudukan terendah. Corak ini diadakan untuk kedua-dua kertas yang diterima dan ditolak. Tambahan pula, kedudukan pengarang meramalkan kiraan petikan masa hadapan dengan lebih tepat daripada skor semakan rakan sebaya. Daripada 22 kertas dalam sampel yang menerima lebih daripada 150 petikan, 17 diletakkan pada kedudukan pertama oleh sekurang-kurangnya seorang pengarang.
Berdasarkan penemuan ini, penyelidik mencadangkan satu sistem di mana perbezaan antara kedudukan pengarang dan markah pengulas digunakan untuk membenderakan kertas untuk pemeriksaan yang lebih dekat. ICML menggabungkan pendekatan ini ke dalam proses semakan 2026nya. Dalam percubaan rawak, kerusi kawasan yang dapat melihat kategori percanggahan menulis lebih kurang 71% lebih banyak teks ulasan setiap kertas dan berkomunikasi dengan lebih kerap dengan pengulas berbanding mereka yang tidak dapat melihat kategori tersebut.
Mengapa ia penting
Bidang penyelidikan AI berkembang lebih pantas daripada kumpulan pengulas rakan sebaya yang berpengalaman, mewujudkan kesesakan untuk mengenal pasti kerja berimpak tinggi. Kajian ini menyediakan mekanisme praktikal, dipacu data untuk memperuntukkan sumber semakan terhad dengan lebih berkesan. Dengan menggunakan kedudukan diri untuk menandakan percanggahan dengan markah pengulas, persidangan boleh mengarahkan perhatian kepada kertas kerja yang mungkin diabaikan atau disalah anggap. Pendekatan ini menangani ketidakcekapan struktur dalam penerbitan akademik tanpa menggantikan pertimbangan manusia, yang berpotensi meningkatkan kualiti keseluruhan dan kaitan penyelidikan AI yang diterima.
Pertumbuhan pesat penyelidikan AI telah mengatasi ketersediaan pengulas rakan sebaya yang berpengalaman, menjadikannya sukar untuk mengenal pasti kerja berimpak tinggi melalui kaedah tradisional sahaja. Kajian ini menawarkan penyelesaian berskala dengan memanfaatkan penilaian pengarang sendiri untuk mengutamakan kertas kerja yang memerlukan penelitian tambahan.
Kaedah ini tidak menggantikan semakan rakan sebaya tetapi menambahnya dengan menyerlahkan percanggahan yang mungkin menunjukkan kertas itu kurang atau terlalu dinilai oleh penyemak. Ini membolehkan kerusi kawasan memperuntukkan masa terhad mereka dengan lebih berkesan, memfokuskan pada kes di mana proses semakan mungkin kehilangan nuansa utama.
Kajian ini mengakui bahawa kiraan petikan adalah proksi yang tidak sempurna untuk kualiti, kerana ia boleh dipengaruhi oleh populariti topik, masa dan keterlihatan pengarang. Walau bagaimanapun, korelasi yang kukuh antara kedudukan diri dan petikan menunjukkan bahawa pengarang mempunyai rasa munasabah tentang potensi kesan kerja mereka, yang boleh dimanfaatkan untuk meningkatkan kecekapan proses semakan.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang perlu ditonton seterusnya
Pantau sama ada persidangan AI dan pembelajaran mesin utama lain menggunakan mekanisme percanggahan kedudukan diri yang serupa dalam proses semakan mereka. Perhatikan kajian susulan yang menilai sama ada kaedah ini benar-benar meningkatkan kualiti kertas yang diterima atau jika ia hanya meningkatkan beban kerja pengulas. Selain itu, perhatikan jika komuniti akademik membangunkan protokol piawai untuk kedudukan diri untuk memastikan konsistensi dan mencegah manipulasi merentasi tempat yang berbeza.
Tidak jelas sama ada kaedah ini akan diterima pakai oleh persidangan AI utama lain seperti NeurIPS atau ICLR. Kejayaan pelaksanaan ICML boleh menjadi bukti konsep untuk komuniti akademik yang lebih luas.
Penyelidikan masa depan perlu menentukan sama ada peningkatan penelitian terhadap kertas yang dibenderakan membawa kepada keputusan penerimaan yang lebih baik atau jika ia hanya menambah beban pada kerusi kawasan dan pengulas. Kajian semasa mengukur penyertaan dalam proses semakan tetapi tidak mewujudkan peningkatan dalam kualiti keputusan akhir.
Terdapat potensi risiko manipulasi, walaupun penyelidik mereka bentuk sistem untuk mengurangkan insentif sedemikian dengan menyembunyikan arah percanggahan daripada kerusi kawasan. Memantau cara pengarang dan pengulas menyesuaikan diri dengan proses baharu ini akan menjadi penting pada tahun-tahun akan datang.