प्रीप्रिंट ब्लैक-बॉक्स एआई भविष्यवाणियों को अधिक व्याख्या योग्य बनाने के लिए स्थानीय आसवन का प्रस्ताव करता है

क्या हुआ?

शोधकर्ता स्थानीय आसवन का प्रस्ताव करते हैं, एक ऐसी विधि जिसमें एक ब्लैक-बॉक्स एआई मॉडल प्रत्येक क्वेरी बिंदु के अनुरूप नियमित रैखिक छात्र मॉडल के लिए एक शिक्षक के रूप में कार्य करता है। पेपर रिपोर्ट करता है कि विरल, स्थानीय रूप से व्याख्या करने योग्य मॉडल तैयार करते समय दृष्टिकोण 17 बेंचमार्क डेटासेट में शिक्षक की सटीकता से लगभग मेल खाता है।

24 अगस्त को arXiv को प्रस्तुत एक पेपर ब्लैक-बॉक्स एआई सिस्टम से भविष्यवाणियों की व्याख्या के लिए स्थानीय आसवन नामक एक विधि का प्रस्ताव करता है। लेखक आधुनिक मॉडलों जैसे सारणीबद्ध नींव मॉडल और ग्रेडिएंट-बूस्टेड एनसेंबल पर ध्यान केंद्रित करते हैं, जिन्हें वे शास्त्रीय तरीकों की तुलना में संभावित रूप से अधिक सटीक बताते हैं लेकिन इसके बारे में तर्क करना मुश्किल है। उनकी प्रस्तावित प्रणाली प्रत्येक क्वेरी बिंदु के पास एक अलग, नियमितीकृत रैखिक "छात्र" मॉडल बनाती है, जिसमें ब्लैक-बॉक्स प्रणाली "शिक्षक" के रूप में कार्य करती है।

यह विधि परिणाम-निर्भर तरीके से परिभाषित करती है कि स्थानीय के रूप में क्या गिना जाता है। यह उन प्रशिक्षण अवलोकनों को बढ़ा देता है जिनके पूर्वानुमानित परिणाम बताए जा रहे पूर्वानुमान के समान होते हैं, बजाय केवल मूल फीचर स्पेस में दूरी पर निर्भर रहने के। इसमें क्वेरी बिंदु पर शिक्षक की भविष्यवाणी को एक भारित छद्म-अवलोकन के रूप में शामिल किया गया है, जो ब्लैक-बॉक्स मॉडल के आउटपुट के लिए स्थानीय रैखिक फिट को एंकर करता है। सूत्र का कहना है कि डेटा से उस छद्म-अवलोकन के महत्व का अनुमान लगाया जाता है।

व्याख्या के लिए, लेखक स्थानीय उद्देश्य में थोड़ी मात्रा में गॉसियन यादृच्छिकीकरण जोड़ते हैं और छात्र मॉडल को बार-बार दोहराते हैं। वे किसी विशेष क्वेरी बिंदु पर विश्वसनीय रूप से दिखाई देने वाली सुविधाओं की पहचान करने के लिए सुविधा-चयन आवृत्तियों का उपयोग करते हैं। वे डेटा में स्थिर उपसमूहों की पहचान करने के लिए यादृच्छिक फिट को भी क्लस्टर करते हैं। पेपर में कहा गया है कि लैस्सो पेनल्टी के तहत यह साबित होता है कि परिणामी फीचर-चयन संभावनाएं प्रशिक्षण प्रतिक्रियाओं की छोटी गड़बड़ी के तहत स्थिर रहती हैं।

17 बेंचमार्क डेटासेट में, लेखक रिपोर्ट करते हैं कि प्रत्येक परीक्षण बिंदु के लिए एक विरल रैखिक मॉडल का निर्माण करते समय स्थानीय आसवन लगभग एआई शिक्षक की सटीकता से मेल खाता है। उच्च-आयामी कैंसर जीन-अभिव्यक्ति उदाहरण में, रूपरेखा रोगी उपसमूहों की पहचान करती है जिनके स्थानीय मॉडल विभिन्न जीन का उपयोग करते हैं। लेखकों का कहना है कि इस प्रकार की विविधता वैश्विक रैखिक मॉडल के लिए अदृश्य है और सीधे ब्लैक-बॉक्स मॉडल में सामने आना मुश्किल है। स्रोत सार में व्यक्तिगत बेंचमार्क स्कोर, डेटासेट नाम या नैदानिक ​​​​परिणाम प्रदान नहीं करता है।

स्रोत विवरण: arxiv.org ↗

यह क्यों मायने रखता है?

यह विधि हाई-स्टेक एआई में एक केंद्रीय समस्या को लक्षित करती है: एक सिस्टम यह स्पष्ट किए बिना सटीक भविष्यवाणी कर सकता है कि यह किसी विशेष परिणाम तक क्यों पहुंचा। स्थानीय स्पष्टीकरण उपयोगकर्ताओं को यह जांचने में मदद कर सकते हैं कि व्यक्तिगत भविष्यवाणी के लिए कौन सी विशेषताएं मायने रखती हैं और क्या विभिन्न समूहों को अलग-अलग कारणों से निर्णय मिलते हैं।

व्याख्यात्मकता विशेष रूप से तब परिणामी होती है जब एआई भविष्यवाणी किसी व्यक्ति के उपचार, पात्रता, जोखिम मूल्यांकन या सेवाओं तक पहुंच को प्रभावित कर सकती है। एक एकल वैश्विक स्पष्टीकरण का अर्थ यह हो सकता है कि समान चर हर निर्णय को संचालित करते हैं, तब भी जब कोई मॉडल डेटा के क्षेत्रों में अलग-अलग व्यवहार करता है। पेपर का स्थानीय दृष्टिकोण प्रत्येक भविष्यवाणी के चारों ओर एक विरल स्पष्टीकरण फिट करके उस भिन्नता को उजागर करने के लिए डिज़ाइन किया गया है।

प्रस्तावित संरचना विश्लेषकों को सामान्य सुविधा-महत्व रैंकिंग की तुलना में निरीक्षण के लिए अधिक विशिष्ट वस्तु दे सकती है। एक स्थानीय रैखिक मॉडल एक क्वेरी बिंदु के पास चयनित सुविधाओं की दिशा और सापेक्ष योगदान को इंगित कर सकता है, जबकि बार-बार किए गए रीफ़िट उन सुविधाओं को अलग करने का एक तरीका प्रदान करते हैं जो उन सुविधाओं से अलग होती हैं जो केवल फिटिंग प्रक्रिया में छोटे बदलावों के कारण दिखाई देती हैं। ये विधि के डिज़ाइन और रिपोर्ट किए गए प्रयोगों के बारे में दावे हैं, न कि इस बात का सबूत कि स्पष्टीकरण स्वचालित रूप से कारणात्मक रूप से सही हैं।

उपसमूह परिणाम संभावित रूप से उपयोगी है क्योंकि यह व्याख्यात्मकता को मॉडल विविधता के साथ जोड़ता है। कैंसर जीन-अभिव्यक्ति उदाहरण में, पेपर रिपोर्ट करता है कि विभिन्न रोगी उपसमूह विभिन्न जीनों का उपयोग करके स्थानीय मॉडल से जुड़े थे। यदि दोहराया जाता है, तो ऐसे निष्कर्ष शोधकर्ताओं को यह जांचने में मदद कर सकते हैं कि क्या एआई सिस्टम अपनी भविष्यवाणियों को एक समान नियम के रूप में मानने के बजाय डेटासेट के विभिन्न हिस्सों में अलग-अलग पैटर्न पर भरोसा कर रहा है।

यह विधि सटीकता और पारदर्शिता के बीच एक व्यावहारिक व्यापार-बंद को भी संबोधित करती है। एक जटिल मॉडल को एक वैश्विक रैखिक सन्निकटन के साथ बदलने से निष्ठा कम हो सकती है, जबकि अकेले ब्लैक बॉक्स पर निर्भर रहने से व्यक्तिगत निर्णयों का ऑडिट करना कठिन हो सकता है। स्थानीय आसवन एक छोटा मॉडल प्रस्तुत करते हुए प्रत्येक क्वेरी के पास शिक्षक के पूर्वानुमान व्यवहार को संरक्षित करने का प्रयास करता है जिसका लोग निरीक्षण कर सकते हैं। स्रोत यह स्थापित नहीं करता है कि क्या यह समझौता वास्तविक समय प्रणाली, विनियमित वर्कफ़्लो, या महत्वपूर्ण मानवीय परिणामों से जुड़े निर्णयों में लागू होता है।

आगे क्या देखना है

कार्य एक arXiv प्रीप्रिंट है, और स्रोत सहकर्मी समीक्षा, स्वतंत्र प्रतिकृति, तैनाती, या परिचालन सेटिंग्स में प्रदर्शन स्थापित नहीं करता है। महत्वपूर्ण खुले प्रश्नों में शामिल हैं कि डेटा में बदलाव के तहत स्पष्टीकरण कितने स्थिर रहते हैं, रिपोर्ट किए गए बेंचमार्क से परे विधि कितनी अच्छी तरह काम करती है, और क्या उपयोगकर्ता स्थानीय मॉडल की सही व्याख्या करते हैं।

तात्कालिक सीमा कार्य की साक्ष्यात्मक स्थिति है। स्रोत पेपर को arXiv सबमिशन के रूप में पहचानता है और लेखकों के गणितीय और अनुभवजन्य दावों की रिपोर्ट करता है, लेकिन यह सहकर्मी समीक्षा, स्वतंत्र प्रतिकृति, सभी प्रमुख व्याख्यात्मक तरीकों के साथ तुलना, या लाइव निर्णय लेने वाली प्रणाली में उपयोग का दस्तावेजीकरण नहीं करता है। इसलिए रिपोर्ट किए गए परिणामों को प्रारंभिक शोध निष्कर्ष के रूप में माना जाना चाहिए।

भविष्य के मूल्यांकन में यह परीक्षण किया जाना चाहिए कि जब अंतर्निहित डेटा वितरण बदलता है, जब विशेषताएं सहसंबद्ध होती हैं, और जब शिक्षक मॉडल को फिर से प्रशिक्षित किया जाता है तो स्थानीय स्पष्टीकरण स्थिर होते हैं या नहीं। पेपर का स्थिरता परिणाम इसके बताए गए यादृच्छिक लैस्सो सेटअप के तहत प्रशिक्षण प्रतिक्रियाओं की छोटी गड़बड़ी से संबंधित है; यह स्वयं लापता चर, वितरण बदलाव, माप त्रुटि, या मॉडल वास्तुकला में परिवर्तन के लिए मजबूती स्थापित नहीं करता है।

कैंसर का उदाहरण भी सावधानीपूर्वक अनुवर्ती कार्रवाई की गारंटी देता है। विभिन्न स्थानीय मॉडलों द्वारा उपयोग किए गए जीनों की पहचान करने से यह स्थापित नहीं होता है कि वे जीन रोगी के परिणाम का कारण बनते हैं या परिणामी उपसमूह चिकित्सकीय रूप से सार्थक हैं। स्रोत नैदानिक ​​सत्यापन, संभावित परीक्षण, उपचार प्रभाव, या सबूत की रिपोर्ट नहीं करता है कि विधि चिकित्सा निर्णयों में सुधार करती है। दृष्टिकोण के जिम्मेदारीपूर्वक रोगी देखभाल को सूचित करने से पहले वे अज्ञात मायने रखते हैं।

व्यावहारिक रूप से अपनाना इस बात पर निर्भर करेगा कि क्या इच्छित उपयोगकर्ता ब्लैक-बॉक्स शिक्षक कैसे काम करते हैं, इसका संपूर्ण विवरण समझे बिना स्थानीय मॉडलों को समझ सकते हैं और चुनौती दे सकते हैं। स्रोत में प्रदान नहीं किए गए महत्वपूर्ण विवरणों में कम्प्यूटेशनल लागत, कितनी विशेषताएं आम तौर पर स्पार्सिटी दंड से बचती हैं, सरल आधार रेखाओं के साथ स्पष्टीकरण की तुलना कैसे की जाती है, और जब स्थानीय फिट अस्थिर या विरोधाभासी होते हैं तो क्या होता है। वे प्रश्न यह निर्धारित करेंगे कि क्या स्थानीय आसवन एक उपयोगी लेखापरीक्षा उपकरण बन जाएगा या मुख्य रूप से एक शोध तकनीक बनी रहेगी।

संबंधित मार्गदर्शिकाएँ एवं प्रश्नोत्तरी