क्या हुआ?
व्हार्टन स्कूल के शोधकर्ताओं ने नेचर कम्प्यूटेशनल साइंस में एक अध्ययन प्रकाशित किया है जिसमें दिखाया गया है कि लेखकों की अपने स्वयं के एआई पेपर की स्व-रैंकिंग मानक सहकर्मी-समीक्षा स्कोर की तुलना में भविष्य के शैक्षणिक उद्धरणों का एक मजबूत भविष्यवक्ता है। अध्ययन ने मशीन लर्निंग पर 2023 अंतर्राष्ट्रीय सम्मेलन (ICML) के डेटा का विश्लेषण किया और पाया कि ICML ने तब से इस स्व-रैंकिंग विसंगति पद्धति को अपनी 2026 की समीक्षा प्रक्रिया में शामिल कर लिया है ताकि क्षेत्रीय अध्यक्षों द्वारा करीबी जांच के लिए कागजात को चिह्नित किया जा सके।
व्हार्टन स्कूल के शोधकर्ताओं, जिनमें प्रोफेसर वेजी सु और बिंगक्सिन झाओ और डॉक्टरेट छात्र बक्सिन सु शामिल हैं, ने 24 अगस्त को नेचर कम्प्यूटेशनल साइंस में एक अध्ययन प्रकाशित किया। अध्ययन ने जांच की कि क्या लेखकों की अपने स्वयं के पत्रों की स्व-रैंकिंग कृत्रिम बुद्धिमत्ता के क्षेत्र में वैज्ञानिक प्रभाव के एक विश्वसनीय संकेतक के रूप में काम कर सकती है।
शोध टीम ने मशीन लर्निंग पर 2023 अंतर्राष्ट्रीय सम्मेलन (ICML) के डेटा का विश्लेषण किया। उन्होंने 2,592 सबमिशन को कवर करते हुए 1,342 लेखकों से स्व-रैंकिंग एकत्र की। सहकर्मी समीक्षाएँ जारी करने से पहले लेखकों को कथित वैज्ञानिक गुणवत्ता के आधार पर अपने शोधपत्रों को रैंक करने के लिए कहा गया था। उद्धरण डेटा के साथ मिलान के बाद अंतिम विश्लेषण में 797 लेखक और 1,527 अद्वितीय पेपर शामिल थे।
अध्ययन में पाया गया कि अगले 16 महीनों में उनके लेखकों द्वारा सर्वोच्च रैंक वाले पेपरों को सबसे कम रैंक वाले पेपरों की तुलना में औसतन दोगुने उद्धरण प्राप्त हुए। यह पैटर्न स्वीकृत और अस्वीकृत दोनों प्रकार के पेपरों के लिए लागू है। इसके अलावा, लेखक रैंकिंग ने सहकर्मी-समीक्षा स्कोर की तुलना में भविष्य के उद्धरणों की अधिक सटीक भविष्यवाणी की है। नमूने में 22 पेपर्स में से 150 से अधिक उद्धरण प्राप्त हुए, 17 को कम से कम एक लेखक द्वारा प्रथम स्थान दिया गया।
इन निष्कर्षों के आधार पर, शोधकर्ताओं ने एक ऐसी प्रणाली का प्रस्ताव रखा जहां लेखक रैंकिंग और समीक्षक स्कोर के बीच अंतर का उपयोग करीबी जांच के लिए कागजात को चिह्नित करने के लिए किया जाता है। ICML ने इस दृष्टिकोण को अपनी 2026 समीक्षा प्रक्रिया में शामिल किया। एक यादृच्छिक प्रयोग में, क्षेत्र के अध्यक्ष जो विसंगति श्रेणियों को देख सकते थे, उन्होंने प्रति पेपर लगभग 71% अधिक टिप्पणी पाठ लिखा और उन लोगों की तुलना में समीक्षकों के साथ अधिक बार संवाद किया जो श्रेणियां नहीं देख सके।
यह क्यों मायने रखता है?
एआई अनुसंधान क्षेत्र अनुभवी सहकर्मी समीक्षकों की तुलना में तेजी से बढ़ रहा है, जिससे उच्च प्रभाव वाले काम की पहचान करने में बाधा उत्पन्न हो रही है। यह अध्ययन सीमित समीक्षा संसाधनों को अधिक प्रभावी ढंग से आवंटित करने के लिए एक व्यावहारिक, डेटा-संचालित तंत्र प्रदान करता है। समीक्षक अंकों के साथ विसंगतियों को चिह्नित करने के लिए स्व-रैंकिंग का उपयोग करके, सम्मेलन उन पेपरों पर ध्यान आकर्षित कर सकते हैं जिन्हें अन्यथा अनदेखा किया जा सकता है या गलत आंका जा सकता है। यह दृष्टिकोण मानवीय निर्णय को प्रतिस्थापित किए बिना अकादमिक प्रकाशन में संरचनात्मक अक्षमता को संबोधित करता है, संभावित रूप से स्वीकृत एआई अनुसंधान की समग्र गुणवत्ता और प्रासंगिकता में सुधार करता है।
एआई अनुसंधान की तीव्र वृद्धि ने अनुभवी सहकर्मी समीक्षकों की उपलब्धता को पीछे छोड़ दिया है, जिससे अकेले पारंपरिक तरीकों के माध्यम से उच्च प्रभाव वाले काम की पहचान करना मुश्किल हो गया है। यह अध्ययन अतिरिक्त जांच की आवश्यकता वाले कागजात को प्राथमिकता देने के लिए लेखकों के स्वयं के आकलन का लाभ उठाकर एक स्केलेबल समाधान प्रदान करता है।
यह विधि सहकर्मी समीक्षा को प्रतिस्थापित नहीं करती है बल्कि विसंगतियों को उजागर करके इसे बढ़ाती है जो यह संकेत दे सकती है कि समीक्षकों द्वारा किसी पेपर को कम या अधिक महत्व दिया जा रहा है। इससे क्षेत्रीय अध्यक्षों को अपने सीमित समय को अधिक प्रभावी ढंग से आवंटित करने की अनुमति मिलती है, और उन मामलों पर ध्यान केंद्रित किया जाता है जहां समीक्षा प्रक्रिया में महत्वपूर्ण बारीकियां गायब हो सकती हैं।
अध्ययन स्वीकार करता है कि उद्धरण संख्या गुणवत्ता के लिए एक अपूर्ण प्रॉक्सी है, क्योंकि वे विषय की लोकप्रियता, समय और लेखक की दृश्यता से प्रभावित हो सकते हैं। हालाँकि, स्व-रैंकिंग और उद्धरणों के बीच मजबूत सहसंबंध से पता चलता है कि लेखकों को अपने काम के संभावित प्रभाव की उचित समझ है, जिसका उपयोग समीक्षा प्रक्रिया की दक्षता में सुधार के लिए किया जा सकता है।
इंटरैक्टिव तंत्र: यह वास्तव में कैसे काम करता है
इस विकास के पीछे अंतर्निहित प्रौद्योगिकी का अंतःक्रियात्मक रूप से अन्वेषण करें।
Which component of an AI application is the machine-learning model itself?
आगे क्या देखना है
मॉनिटर करें कि क्या अन्य प्रमुख एआई और मशीन लर्निंग सम्मेलन अपनी समीक्षा प्रक्रियाओं में समान स्व-रैंकिंग विसंगति तंत्र अपनाते हैं। अनुवर्ती अध्ययनों पर नज़र रखें जो मूल्यांकन करते हैं कि क्या यह विधि वास्तव में स्वीकृत कागजात की गुणवत्ता में सुधार करती है या यदि यह केवल समीक्षक के कार्यभार को बढ़ाती है। इसके अतिरिक्त, देखें कि क्या अकादमिक समुदाय विभिन्न स्थानों पर स्थिरता सुनिश्चित करने और हेरफेर को रोकने के लिए स्व-रैंकिंग के लिए मानकीकृत प्रोटोकॉल विकसित करता है।
यह स्पष्ट नहीं है कि इस पद्धति को अन्य प्रमुख AI सम्मेलनों जैसे NeurIPS या ICLR द्वारा अपनाया जाएगा या नहीं। ICML के कार्यान्वयन की सफलता व्यापक शैक्षणिक समुदाय के लिए अवधारणा के प्रमाण के रूप में काम कर सकती है।
भविष्य के अनुसंधान को यह निर्धारित करने की आवश्यकता होगी कि क्या ध्वजांकित कागजात की बढ़ती जांच से बेहतर स्वीकृति निर्णय होते हैं या यदि यह केवल क्षेत्रीय अध्यक्षों और समीक्षकों पर बोझ बढ़ाता है। वर्तमान अध्ययन ने समीक्षा प्रक्रिया में भागीदारी को मापा लेकिन अंतिम निर्णयों की गुणवत्ता में सुधार स्थापित नहीं किया।
हेरफेर का संभावित जोखिम है, हालांकि शोधकर्ताओं ने क्षेत्र कुर्सियों से विसंगति की दिशा छिपाकर ऐसे प्रोत्साहनों को कम करने के लिए प्रणाली को डिज़ाइन किया है। आने वाले वर्षों में लेखक और समीक्षक इस नई प्रक्रिया को कैसे अपनाते हैं, इसकी निगरानी करना महत्वपूर्ण होगा।