क्या हुआ?
Anthropic ने उपयोगकर्ता की भलाई पर AI के प्रभावों पर स्वतंत्र शोध के लिए $5 मिलियन के अनुदान कार्यक्रम की घोषणा की। इसमें कहा गया है कि अनुदान प्राप्तकर्ताओं को प्रत्यक्ष धन, Anthropic मॉडल तक पहुंच और तकनीकी सहायता प्राप्त होगी, जबकि वे पूरी तरह से स्वतंत्र रहेंगे और अपने मूल्यांकन को ओपन-सोर्स परियोजनाओं के रूप में प्रकाशित करेंगे।
25 अगस्त को, Anthropic ने 5 मिलियन डॉलर के अनुदान कार्यक्रम की घोषणा की, जो कि कृत्रिम-बुद्धिमत्ता प्रणाली उपयोगकर्ताओं की भलाई को कैसे प्रभावित करती है, इस पर स्वतंत्र शोध पर केंद्रित है। कंपनी ने कहा कि कार्यक्रम ओपन-सोर्स मूल्यांकन तैयार करने वाले शोधकर्ताओं को सीधे फंडिंग, उसके मॉडल तक पहुंच और तकनीकी सहायता प्रदान करेगा। Anthropic ने इच्छित आउटपुट को बेंचमार्क और मूल्यांकन परियोजनाओं के रूप में वर्णित किया है, जिसे Anthropic के आंतरिक सिस्टम तक सीमित मूल्यांकन के बजाय पूरे उद्योग के डेवलपर्स उपयोग कर सकते हैं।
Anthropic ने कहा कि अनुदान प्राप्तकर्ता पूरी तरह से स्वतंत्र रूप से काम करेंगे और अपने काम को ओपन-सोर्स प्रोजेक्ट के रूप में प्रकाशित करेंगे। घोषणा में यह निर्दिष्ट नहीं किया गया है कि अनुदान कैसे आवंटित किया जाएगा, कितनी परियोजनाओं का चयन किया जाएगा, व्यक्तिगत पुरस्कारों का आकार, या कौन से औपचारिक सुरक्षा उपाय अनुसंधान स्वतंत्रता की रक्षा करेंगे, जबकि अनुदान प्राप्तकर्ताओं को Anthropic से मॉडल पहुंच और तकनीकी सहायता प्राप्त होगी। वे विवरण स्रोत से अज्ञात हैं।
कंपनी ने कार्य, शिक्षा, समस्या-समाधान और भावनात्मक रूप से सहायक बातचीत में एआई की बढ़ती भूमिका की आवश्यकता बताई। इसमें कहा गया है कि किसी उपयोगकर्ता द्वारा किसी मॉडल से सहयोग मांगने या मानसिक-स्वास्थ्य संकट के दौरान एआई का उपयोग करने जैसी स्थितियों के लिए अभी भी कोई स्पष्ट उद्योग मानक नहीं हैं। Anthropic ने यह भी कहा कि कई मॉडल व्यवहारों की तुलना में भलाई का मूल्यांकन करना कठिन है क्योंकि बातचीत का जोखिम समय के साथ बदल सकता है और पहले बताई गई जानकारी पर निर्भर हो सकता है।
उदाहरण के तौर पर, Anthropic ने कहा कि आहार या व्यायाम के बारे में प्रतिक्रिया अलग से उचित लग सकती है लेकिन यदि उपयोगकर्ता ने अव्यवस्थित खान-पान का इतिहास दिखाया है तो यह अनुपयुक्त हो जाता है। इसने कहा कि इसके स्वयं के सुरक्षा उपायों का उद्देश्य ऐसे संदर्भों की पहचान करना और Claude की प्रतिक्रियाओं का मार्गदर्शन करना है, जबकि Claude के साथ बातचीत में इसका शोध सुरक्षा विकास और मूल्यांकन की जानकारी देता है। ये कथन Anthropic के दृष्टिकोण और दावों का वर्णन करते हैं; घोषणा में कोई स्वतंत्र परिणाम नहीं दिया गया है जो यह दर्शाता हो कि सुरक्षा उपाय प्रभावी हैं।
यह क्यों मायने रखता है?
कार्यक्रम एआई मूल्यांकन में एक कठिन अंतर को लक्षित करता है: लंबी बातचीत के दौरान भलाई संबंधी जोखिम धीरे-धीरे उभर सकते हैं और उपयोगकर्ता के संदर्भ पर काफी हद तक निर्भर हो सकते हैं। बेहतर स्वतंत्र बेंचमार्क डेवलपर्स को हानिकारक अनुपालन और अत्यधिक इनकार दोनों का आकलन करने में मदद कर सकते हैं, हालांकि Anthropic ने अनुदान आकार, प्राप्तकर्ताओं की संख्या या स्वतंत्रता को कैसे नियंत्रित किया जाएगा, इसका खुलासा नहीं किया है।
प्रस्ताव संवादी एआई के मूल्यांकन में एक केंद्रीय कमजोरी को संबोधित करता है: एक एकल उत्तर से यह पता नहीं चल सकता है कि किसी सिस्टम ने संवेदनशील बातचीत को सुरक्षित रूप से संभाला है या नहीं। एक उपयोगकर्ता की स्थिति कई मोड़ों पर स्पष्ट हो सकती है, और एक प्रतिक्रिया जो एक संदर्भ में स्वीकार्य है वह दूसरे में हानिकारक हो सकती है। उन परिवर्तनों को पकड़ने वाले मूल्यांकन डेवलपर्स और शोधकर्ताओं को भावनात्मक रूप से संवेदनशील उपयोग में सुरक्षा का आकलन करने के लिए अधिक यथार्थवादी आधार दे सकते हैं।
Anthropic के मार्गदर्शन में मूल्यांकन को स्पष्ट रूप से परिभाषित करने के लिए कहा गया है कि पास या फेल के रूप में क्या गिना जाता है और वह मानक क्यों मायने रखता है। यह शोधकर्ताओं से डिज़ाइन और सत्यापन में नैदानिक और विषय-वस्तु विशेषज्ञों को शामिल करने के लिए भी कहता है। यह जोर परिणामी है क्योंकि भलाई के निर्णयों में मानसिक स्वास्थ्य, खाने के विकार, संकट प्रतिक्रिया और अन्य क्षेत्र शामिल हो सकते हैं जहां सामान्य भाषा-गुणवत्ता परीक्षण महत्वपूर्ण जोखिमों से चूक सकते हैं।
कंपनी का यह भी कहना है कि मूल्यांकन में सावधानियों और नुकसान दोनों का परीक्षण होना चाहिए। इसका मतलब है कि न केवल यह जांचना कि क्या कोई मॉडल किसी जोखिम भरे अनुरोध का बहुत तत्परता से अनुपालन करता है, बल्कि यह भी कि क्या वह उपयोगी प्रतिक्रिया उचित होने पर बहुत व्यापक रूप से इनकार करता है। यह अति-अनुपालन-बनाम-अति-अस्वीकार का अंतर वास्तविक उपयोगकर्ताओं के लिए मूल्यांकन को अधिक जानकारीपूर्ण बना सकता है, लेकिन स्रोत यह स्थापित नहीं करता है कि अंतिम अनुदान प्राप्तकर्ता कौन सी सीमाएँ या परिभाषाएँ अपनाएँगे।
Anthropic ऐसे परिदृश्य चाहता है जो वास्तविक उपयोग से मिलते-जुलते हों, अक्सर बहु-मोड़ वार्तालापों के माध्यम से जिसमें जोखिम बढ़ता है और संदर्भ बदलता है। इसमें आगे कहा गया है कि स्वचालित ग्रेडर्स को वास्तविक विषय-वस्तु विशेषज्ञों के विरुद्ध मान्य किया जाना चाहिए। यदि कठोरता से लागू किया जाता है, तो वे आवश्यकताएँ उन विफलताओं को उजागर करने में मदद कर सकती हैं जिन्हें संक्षिप्त, स्थिर बेंचमार्क संकेत अनदेखा करते हैं। व्यावहारिक मूल्य चयनित अध्ययनों की गुणवत्ता, उनके खुलेपन और अन्य डेवलपर्स परिणामी परीक्षणों को अपनाते हैं या नहीं, इस पर निर्भर करेगा।
इंटरैक्टिव तंत्र: यह वास्तव में कैसे काम करता है
इस विकास के पीछे अंतर्निहित प्रौद्योगिकी का अंतःक्रियात्मक रूप से अन्वेषण करें।
Why can ethical evaluation not be reduced to one model score?
आगे क्या देखना है
आवेदन 21 सितंबर, 2026 को देय हैं, और पूर्ण प्रस्ताव प्रस्तुत करने के लिए आमंत्रित आवेदकों को 5 अक्टूबर तक सूचित किए जाने की उम्मीद है। मुख्य परीक्षण यह होगा कि क्या परिणामी मूल्यांकन नैदानिक विशेषज्ञता का उपयोग करते हैं, यथार्थवादी बहु-मोड़ वार्तालापों को प्रतिबिंबित करते हैं, विशेषज्ञों के खिलाफ स्वचालित ग्रेडर को मान्य करते हैं और Anthropic के अपने मॉडल से परे काम करने वाली विधियों का उत्पादन करते हैं।
तत्काल मील का पत्थर आवेदन की अंतिम तिथि 21 सितंबर, 2026 है। Anthropic का कहना है कि पूर्ण प्रस्ताव प्रस्तुत करने के लिए चुने गए आवेदकों को 5 अक्टूबर तक सूचित किया जाएगा। घोषणा में अंतिम पुरस्कारों, वित्त पोषित अनुसंधान की शुरुआत या परिणामों के प्रकाशन की तारीख प्रदान नहीं की गई है, इसलिए कार्यक्रम के निकट अवधि के पैमाने और गति का अभी तक आकलन नहीं किया जा सकता है।
चयन प्रक्रिया की जांच जरूरी होगी। महत्वपूर्ण अनुत्तरित प्रश्नों में शामिल हैं कि अनुदान प्राप्तकर्ताओं का चयन कौन करेगा, हितों के टकराव को कैसे संभाला जाएगा, क्या शोधकर्ता बिना समीक्षा के प्रतिकूल निष्कर्ष प्रकाशित कर सकते हैं, किस मॉडल तक पहुंच होगी और क्या कार्यक्रम उस काम को वित्त पोषित करेगा जो Claude के अलावा अन्य प्रणालियों का मूल्यांकन करता है। Anthropic का स्वतंत्रता का दावा सार्थक है, लेकिन स्रोत इसके पीछे अनुबंध की शर्तों का वर्णन नहीं करता है।
परिणामी मूल्यांकन का मूल्यांकन बेंचमार्क स्कोर से अधिक के लिए किया जाना चाहिए। साक्ष्य के लिए देखें कि परिदृश्य लंबी बातचीत का प्रतिनिधित्व करते हैं, कि नैदानिक विशेषज्ञ डिजाइन और सत्यापन दोनों में भाग लेते हैं, और ग्रेडर को विशेषज्ञ निर्णयों के विरुद्ध जांचा जाता है। यह भी मायने रखेगा कि क्या बेंचमार्क अत्यधिक अनुपालन और अत्यधिक इनकार दोनों के कारण होने वाले नुकसान को मापते हैं, और क्या उनके तरीके Anthropic के बाहर डेवलपर्स द्वारा पुनरुत्पादित और प्रयोग करने योग्य हैं।
अंततः, कार्यक्रम का व्यापक प्रभाव अपनाने पर निर्भर करेगा। Anthropic का कहना है कि परियोजनाएँ खुला स्रोत होंगी और किसी भी डेवलपर के लिए उपलब्ध होंगी, लेकिन यह उद्योग-व्यापी मानकीकरण के लिए भाग लेने वाले शोधकर्ताओं, नियोजित बेंचमार्क, प्रकाशन स्थानों या तंत्र की पहचान नहीं करता है। जब तक वे विवरण और परिणाम सामने नहीं आते, घोषणा एक फंडिंग प्रतिबद्धता और एक मूल्यांकन एजेंडा स्थापित करती है, न कि इस बात का सबूत कि एआई भलाई जोखिमों का समाधान हो गया है।