समाज गाइड

मॉडल जोखिम प्रबंधन (एसआर 11-7) और एआई

एसआर 11-7 मॉडल जोखिम प्रबंधन पर फेडरल रिजर्व का 2011 का पर्यवेक्षी मार्गदर्शन है, जिसे ओसीसी बुलेटिन 2011-12 के साथ संयुक्त रूप से जारी किया गया है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. मॉडल जोखिम प्रबंधन का भविष्य (एसआर 11-7) और एआई
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह अपेक्षा करता है कि बैंक उन मॉडलों का विकास, सत्यापन, संचालन और निगरानी करें जिन पर वे भरोसा करते हैं। बैंक अब इसे मशीन लर्निंग और बड़े भाषा मॉडल पर लागू करते हैं, जो पारंपरिक सत्यापन को प्रभावित करता है क्योंकि ये मॉडल अक्सर अपारदर्शी होते हैं, विक्रेताओं द्वारा आपूर्ति किए जाते हैं और गैर-नियतात्मक होते हैं। मार्गदर्शन मायने रखता है क्योंकि क्रेडिट, धोखाधड़ी, अनुपालन या ग्राहक सेवा के लिए एआई का उपयोग करने वाले बैंक को पर्यवेक्षकों को दिखाना होगा कि वह समझता है और नियंत्रित करता है कि ये मॉडल कैसे विफल हो सकते हैं।

गहरा गोता

एसआर 11-7 अप्रैल 2011 में फेडरल रिजर्व द्वारा ओसीसी के साथ मिलकर जारी किया गया था, और एफडीआईसी ने इसे 2017 में अपनाया था। यह मोटे तौर पर एक मॉडल को परिभाषित करता है: एक मात्रात्मक विधि, प्रणाली या दृष्टिकोण जो इनपुट डेटा को मात्रात्मक अनुमानों में बदलने के लिए सांख्यिकीय, आर्थिक, वित्तीय या गणितीय सिद्धांतों को लागू करता है। एक मॉडल में एक इनपुट भाग, एक प्रोसेसिंग भाग और एक रिपोर्टिंग भाग होता है। मॉडल जोखिम दो स्रोतों से आता है: मॉडल में मूलभूत त्रुटियां, और किसी ध्वनि मॉडल का गलत तरीके से या उसके इच्छित उद्देश्य से बाहर उपयोग करना। मार्गदर्शन तीन स्तंभों पर टिका है। पहला है सुदृढ़ विकास, कार्यान्वयन और उपयोग। दूसरा सत्यापन है, जिसमें तीन मुख्य तत्व हैं: वैचारिक सुदृढ़ता का मूल्यांकन, चल रही निगरानी (प्रक्रिया सत्यापन और बेंचमार्किंग सहित), और बैक-टेस्टिंग जैसे परिणाम विश्लेषण। तीसरा शासन है: बोर्ड और वरिष्ठ प्रबंधन निरीक्षण, लिखित नीतियां, एक संपूर्ण मॉडल सूची, और दस्तावेज़ीकरण इतना विस्तृत है कि मॉडल से अपरिचित कोई भी व्यक्ति समझ सकता है कि यह कैसे काम करता है। संपूर्ण मार्गदर्शन में "प्रभावी चुनौती" का आह्वान किया गया है, जिसका अर्थ उन लोगों द्वारा आलोचनात्मक समीक्षा है जो परिवर्तन को मजबूर करने के लिए उद्देश्यपूर्ण, सूचित, सक्षम और प्रभावशाली हैं। विक्रेता मॉडलों को कोई छूट नहीं मिलती. बैंकों से अपेक्षा की जाती है कि वे विक्रेताओं से उचित दस्तावेज प्राप्त करें। जहां मालिकाना विवरण छुपाया जाता है, वहां बैंकों को संवेदनशीलता विश्लेषण, बेंचमार्किंग और परिणाम परीक्षण पर अधिक भरोसा करना चाहिए। एक आम ग़लतफ़हमी यह है कि एसआर 11-7 एआई तक नहीं पहुंचता क्योंकि यह आधुनिक मशीन लर्निंग से पहले का है। इसकी परिभाषा प्रौद्योगिकी-तटस्थ है, और पर्यवेक्षकों ने एआई को दायरे में माना है। बैंक आमतौर पर या तो जेनेरिक एआई टूल को मॉडल के रूप में वर्गीकृत करते हैं या उन्हें व्यापक एआई जोखिम ढांचे के तहत नियंत्रित करते हैं जो समान सत्यापन सिद्धांतों का उपयोग करता है। संबंधित संदर्भों में मॉडल जोखिम प्रबंधन पर ओसीसी की 2021 नियंत्रक की हैंडबुक पुस्तिका और जनवरी 2023 में जारी एनआईएसटी एआई जोखिम प्रबंधन फ्रेमवर्क शामिल है। क्रेडिट निर्णयों के लिए, समान क्रेडिट अवसर अधिनियम के तहत प्रतिकूल कार्रवाई नोटिस आवश्यकताएं तब भी लागू होती हैं जब मॉडल जटिल होता है।

वास्तविक विश्व कार्यान्वयन

एक बैंक एक विक्रेता एलएलएम जोड़ता है जो ग्राहकों की शिकायतों को अपने मॉडल इन्वेंट्री में सारांशित करता है, इसे जोखिम स्तर निर्दिष्ट करता है, और उत्पादन उपयोग से पहले इसे एक स्वतंत्र सत्यापन टीम को देता है।

सत्यापनकर्ता यह मापने के लिए कई सौ शिकायतों का एक लेबल सेट बनाते हैं कि एलएलएम के सारांश कितनी बार एक मुद्दा छोड़ देते हैं जिसे नियामक कारणों से आगे बढ़ाया जाना चाहिए। वे उपकरण को मंजूरी देने से पहले एक स्वीकार्य त्रुटि सीमा निर्धारित करते हैं।

एक मशीन लर्निंग क्रेडिट मॉडल वास्तविक चूक के खिलाफ परिणामों के विश्लेषण के साथ-साथ निष्पक्ष ऋण परीक्षण से गुजरता है। स्पष्टीकरण विधियाँ उन विशिष्ट प्रतिकूल कार्रवाई कारणों को उत्पन्न करने में मदद करती हैं जो उधारदाताओं को आवेदकों को देनी चाहिए।

एक मॉनिटरिंग डैशबोर्ड इनपुट डेटा में बदलाव को ट्रैक करता है और हर हफ्ते एलएलएम आउटपुट गुणवत्ता का नमूना लेता है। जब विक्रेता एक नया मॉडल संस्करण जारी करता है, तो डैशबोर्ड एक लक्षित पुनर्वैधीकरण को ट्रिगर करता है।

मॉडल जोखिम प्रबंधन का भविष्य (एसआर 11-7) और एआई

बैंक जेनरेटिव एआई के लिए मॉडल इन्वेंट्री का विस्तार कर रहे हैं और मूल्यांकन विधियों का निर्माण कर रहे हैं। पर्यवेक्षकों ने भाषणों और सूचना के अनुरोधों में एआई प्रशासन पर चर्चा की है, लेकिन क्या मॉडल जोखिम मार्गदर्शन के लिए औपचारिक अपडेट आएंगे, और वे क्या कहेंगे, यह अनिश्चित बना हुआ है। एसआर 11-7 में मुख्य सिद्धांत (मॉडल के उद्देश्य को जानें, इसका स्वतंत्र रूप से परीक्षण करें, इसकी सीमाओं का दस्तावेजीकरण करें, समय के साथ इसकी निगरानी करें) एलएलएम पर अच्छी तरह से लागू होते हैं, यहां तक ​​​​कि जहां विशिष्ट तरीकों पर अभी भी काम किया जा रहा है। विक्रेता पारदर्शिता और निरंतर निगरानी पर सबसे अधिक ध्यान देने की अपेक्षा करें।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • जोखिम और सुरक्षा. विनाशकारी और रोजमर्रा के एआई नुकसान दोनों इस बात पर निर्भर करते हैं कि जोखिमों को कौन समझता है और कौन कार्रवाई कर सकता है।
  • स्पष्ट निर्णय. सार्वजनिक और व्यावसायिक साक्षरता यह निर्धारित करती है कि मजबूत सुरक्षा नीति राजनीतिक रूप से संभव है या नहीं।
  • प्रचार के माध्यम से काटना. स्पष्ट स्पष्टीकरण प्रचार, लैब पीआर और अस्पष्ट नैतिकता थिएटर द्वारा कब्जा कम कर देते हैं।

का ध्यान रखें

  • अस्तित्वगत जोखिम को विज्ञान-कल्पना के रूप में मानते हुए क्षमता को मिश्रित किया जाता है।
  • उच्च स्वायत्तता के तहत संरेखण के साथ भ्रमित करने वाली सतह उत्पाद सुरक्षा।
  • गैर-अंग्रेज़ी और गैर-विशेषज्ञ दर्शकों को केवल निम्न-गुणवत्ता वाले स्रोतों के साथ छोड़ना।

अगले चरण

  1. उत्पाद के नुकसान, दुरुपयोग और नियंत्रण की हानि/गलत संरेखण जोखिमों को अलग करें।
  2. पूछें कि कौन से सबूत समयसीमा और गंभीरता पर आपके दृष्टिकोण को बदल देंगे।
  3. विपणन दावों की तुलना में प्राथमिक स्रोतों और ठोस मूल्यांकन को प्राथमिकता दें।
  4. एक कार्य पथ की पहचान करें: कैरियर, नीति, वित्त पोषण, या कौशल - केवल जागरूकता नहीं।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Model Risk Management (SR 11-7) and AI quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

मॉडल जोखिम प्रबंधन (एसआर 11-7) और एआई क्या है?

एसआर 11-7 मॉडल जोखिम प्रबंधन पर फेडरल रिजर्व का 2011 का पर्यवेक्षी मार्गदर्शन है, जो ओसीसी बुलेटिन 2011-12 के साथ संयुक्त रूप से जारी किया गया है। यह अपेक्षा करता है कि बैंक उन मॉडलों का विकास, सत्यापन, संचालन और निगरानी करें जिन पर वे भरोसा करते हैं। बैंक अब इसे मशीन लर्निंग और बड़े भाषा मॉडल पर लागू करते हैं, जो पारंपरिक सत्यापन को प्रभावित करता है क्योंकि ये मॉडल अक्सर अपारदर्शी होते हैं, विक्रेताओं द्वारा आपूर्ति किए जाते हैं और गैर-नियतात्मक होते हैं। मार्गदर्शन मायने रखता है क्योंकि क्रेडिट, धोखाधड़ी, अनुपालन या ग्राहक सेवा के लिए एआई का उपयोग करने वाले बैंक को पर्यवेक्षकों को दिखाना होगा कि वह समझता है और नियंत्रित करता है कि ये मॉडल कैसे विफल हो सकते हैं।

2011 में फेडरल रिजर्व के एसआर 11-7 के साथ कौन सा ओसीसी दस्तावेज़ जारी किया गया था?

ओसीसी ने बुलेटिन 2011-12 के समान मार्गदर्शन जारी किया, इसलिए दोनों दस्तावेजों को अक्सर एक साथ उद्धृत किया जाता है।

एसआर 11-7 के अंतर्गत सत्यापन के तीन मुख्य तत्व क्या हैं?

सत्यापन में यह शामिल है कि क्या डिज़ाइन अच्छा है, क्या मॉडल इच्छित प्रदर्शन करता रहता है, और इसके आउटपुट की वास्तविक परिणामों के साथ तुलना कैसे होती है।

एसआर 11-7 को "प्रभावी चुनौती" के रूप में गिनने के लिए समीक्षा की क्या आवश्यकता है?

प्रभावी चुनौती का अर्थ है सक्षम, स्वतंत्र लोगों द्वारा आलोचनात्मक विश्लेषण, जिनके निष्कर्ष वास्तव में बदलाव लाते हैं।

किसी बैंक को ऐसे विक्रेता मॉडल को कैसे संभालना चाहिए जिसका स्वामित्व विवरण छिपाया गया है?

विक्रेता मॉडल अभी भी मान्य हैं. जब आंतरिक विवरण उपलब्ध नहीं होते हैं, तो व्यवहार और आउटपुट का परीक्षण अधिक महत्व रखता है।

गाइड के अनुसार, इनमें से कौन परिवर्तन प्रबंधन के लिए एलएलएम एप्लिकेशन की मॉडल सीमा का हिस्सा है?

संकेत, पुनर्प्राप्ति डेटा, पैरामीटर, उपकरण और रेलिंग सभी आउटपुट को आकार देते हैं, इसलिए उन्हें बदलना मॉडल परिवर्तन के रूप में गिना जाता है।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →