পরবর্তী আপপরবর্তী গাইড
NIST AI ঝুঁকি ব্যবস্থাপনা ফ্রেমওয়ার্ক
সমাজ
সোসাইটি গাইড
SR 11-7 হল মডেল রিস্ক ম্যানেজমেন্টের উপর ফেডারেল রিজার্ভের 2011 তত্ত্বাবধায়ক নির্দেশিকা, OCC বুলেটিন 2011-12 এর সাথে যৌথভাবে জারি করা।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি আশা করে যে ব্যাঙ্কগুলি তাদের উপর নির্ভরশীল মডেলগুলির বিকাশ, বৈধতা, পরিচালনা এবং নিরীক্ষণ করবে। ব্যাঙ্কগুলি এখন এটিকে মেশিন লার্নিং এবং বৃহৎ ভাষার মডেলগুলিতে প্রয়োগ করে, যা ঐতিহ্যগত বৈধতাকে চাপ দেয় কারণ এই মডেলগুলি প্রায়শই অস্বচ্ছ, বিক্রেতাদের দ্বারা সরবরাহ করা হয় এবং অ-নিয়ন্ত্রক। নির্দেশিকা গুরুত্বপূর্ণ কারণ ক্রেডিট, জালিয়াতি, সম্মতি বা গ্রাহক পরিষেবার জন্য AI ব্যবহার করে একটি ব্যাঙ্ককে সুপারভাইজারদের দেখাতে হবে যে তারা বোঝে এবং নিয়ন্ত্রণ করে কিভাবে সেই মডেলগুলি ব্যর্থ হতে পারে।
SR 11-7 এপ্রিল 2011 সালে ফেডারেল রিজার্ভ দ্বারা OCC-এর সাথে একত্রে জারি করা হয়েছিল, এবং FDIC এটি 2017 সালে গ্রহণ করেছিল। এটি একটি মডেলকে বিস্তৃতভাবে সংজ্ঞায়িত করে: একটি পরিমাণগত পদ্ধতি, সিস্টেম বা পদ্ধতি যা পরিসংখ্যানগত, অর্থনৈতিক, আর্থিক বা গাণিতিক তত্ত্বগুলিকে পরিমাণগত অনুমানে পরিণত করতে প্রয়োগ করে। একটি মডেলের একটি ইনপুট অংশ, একটি প্রক্রিয়াকরণ অংশ এবং একটি প্রতিবেদনের অংশ রয়েছে। মডেল ঝুঁকি দুটি উৎস থেকে আসে: মডেলের মৌলিক ত্রুটি, এবং একটি শব্দ মডেল ভুলভাবে বা তার উদ্দেশ্যের বাইরে ব্যবহার করা। নির্দেশিকা তিনটি স্তম্ভের উপর নির্ভর করে। প্রথমটি হল সঠিক উন্নয়ন, বাস্তবায়ন এবং ব্যবহার। দ্বিতীয়টি হল বৈধতা, যার তিনটি মূল উপাদান রয়েছে: ধারণাগত সুস্থতার মূল্যায়ন, চলমান পর্যবেক্ষণ (প্রক্রিয়া যাচাইকরণ এবং বেঞ্চমার্কিং সহ), এবং ফলাফল বিশ্লেষণ যেমন ব্যাক-টেস্টিং। তৃতীয়টি হল গভর্নেন্স: বোর্ড এবং সিনিয়র ম্যানেজমেন্ট তত্ত্বাবধান, লিখিত নীতি, একটি সম্পূর্ণ মডেল ইনভেন্টরি এবং ডকুমেন্টেশন যথেষ্ট বিস্তারিত যাতে মডেলের সাথে অপরিচিত কেউ বুঝতে পারে এটি কীভাবে কাজ করে। সর্বোপরি, নির্দেশিকাটি "কার্যকর চ্যালেঞ্জ" এর জন্য আহ্বান জানায়, যার অর্থ এমন ব্যক্তিদের দ্বারা সমালোচনামূলক পর্যালোচনা যারা পরিবর্তনগুলি জোর করার জন্য উদ্দেশ্যমূলক, জ্ঞাত, যোগ্য এবং যথেষ্ট প্রভাবশালী। বিক্রেতা মডেল কোন ছাড় পান না. ব্যাঙ্কগুলি বিক্রেতাদের কাছ থেকে যথাযথ ডকুমেন্টেশন পাবে বলে আশা করা হচ্ছে। যেখানে মালিকানার বিবরণ আটকে রাখা হয়, ব্যাঙ্কগুলিকে সংবেদনশীলতা বিশ্লেষণ, বেঞ্চমার্কিং এবং ফলাফল পরীক্ষার উপর বেশি নির্ভর করতে হবে। একটি সাধারণ ভুল ধারণা হল যে SR 11-7 AI তে পৌঁছায় না কারণ এটি আধুনিক মেশিন লার্নিং-এর পূর্ববর্তী। এর সংজ্ঞা প্রযুক্তি-নিরপেক্ষ, এবং সুপারভাইজাররা এআইকে সুযোগের মধ্যে বিবেচনা করেছেন। ব্যাঙ্কগুলি সাধারণত জেনারেটিভ এআই টুলগুলিকে মডেল হিসাবে শ্রেণীবদ্ধ করে বা একই বৈধকরণ নীতিগুলি ব্যবহার করে এমন একটি বৃহত্তর এআই ঝুঁকি কাঠামোর অধীনে তাদের পরিচালনা করে। সম্পর্কিত রেফারেন্সগুলির মধ্যে রয়েছে মডেল ঝুঁকি ব্যবস্থাপনার উপর OCC-এর 2021 নিয়ন্ত্রকের হ্যান্ডবুক পুস্তিকা এবং 2023 সালের জানুয়ারিতে প্রকাশিত NIST AI ঝুঁকি ব্যবস্থাপনা ফ্রেমওয়ার্ক৷ ক্রেডিট সিদ্ধান্তের জন্য, সমান ক্রেডিট সুযোগ আইনের অধীনে প্রতিকূল পদক্ষেপের বিজ্ঞপ্তির প্রয়োজনীয়তাগুলি এখনও প্রযোজ্য হয় যখন মডেলটি জটিল হয়৷
একটি ব্যাঙ্ক একটি বিক্রেতা এলএলএম যুক্ত করে যা গ্রাহকের অভিযোগগুলিকে তার মডেল ইনভেন্টরিতে সংক্ষিপ্ত করে, এটিকে একটি ঝুঁকির স্তর নির্ধারণ করে এবং উত্পাদন ব্যবহারের আগে এটি একটি স্বাধীন বৈধতা দলকে দেয়।
এলএলএম-এর সারাংশ কত ঘন ঘন একটি সমস্যা ছেড়ে দেয় তা পরিমাপ করার জন্য যাচাইকারীরা কয়েকশ অভিযোগের একটি লেবেলযুক্ত সেট তৈরি করে যা নিয়ন্ত্রক কারণে বাড়ানো উচিত। টুলটি অনুমোদন করার আগে তারা একটি গ্রহণযোগ্য ত্রুটি থ্রেশহোল্ড সেট করে।
একটি মেশিন লার্নিং ক্রেডিট মডেল প্রকৃত খেলাপির বিরুদ্ধে ফলাফল বিশ্লেষণের পাশাপাশি ন্যায্য ঋণ পরীক্ষার মধ্য দিয়ে যায়। ব্যাখ্যা পদ্ধতি নির্দিষ্ট প্রতিকূল কর্ম কারণ ঋণদাতাদের আবেদনকারীদের দিতে হবে উত্পাদন সাহায্য.
একটি মনিটরিং ড্যাশবোর্ড প্রতি সপ্তাহে ইনপুট ডেটা এবং নমুনা LLM আউটপুট গুণমান পরিবর্তন করে। যখন বিক্রেতা একটি নতুন মডেল সংস্করণ প্রকাশ করে, তখন ড্যাশবোর্ড একটি লক্ষ্যযুক্ত পুনর্বিবেচনা ট্রিগার করে।
ব্যাঙ্কগুলি মডেল ইনভেন্টরিগুলি প্রসারিত করছে এবং জেনারেটিভ AI এর জন্য মূল্যায়ন পদ্ধতি তৈরি করছে৷ সুপারভাইজাররা বক্তৃতা এবং তথ্যের অনুরোধে এআই গভর্নেন্স নিয়ে আলোচনা করেছেন, তবে মডেল ঝুঁকি নির্দেশিকাতে আনুষ্ঠানিক আপডেট আসবে কিনা এবং তারা কী বলবে তা অনিশ্চিত রয়ে গেছে। SR 11-7-এর মূল নীতিগুলি (মডেলের উদ্দেশ্য জানুন, এটিকে স্বাধীনভাবে পরীক্ষা করুন, এর সীমাবদ্ধতা নথিভুক্ত করুন, সময়ের সাথে সাথে এটি নিরীক্ষণ করুন) এলএলএম-এর ক্ষেত্রেও প্রযোজ্য যেখানে নির্দিষ্ট পদ্ধতি এখনও কাজ করা হচ্ছে। বিক্রেতার স্বচ্ছতা এবং ক্রমাগত পর্যবেক্ষণের উপর সর্বাধিক মনোযোগ আশা করুন।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
SR 11-7 হল মডেল রিস্ক ম্যানেজমেন্টের উপর ফেডারেল রিজার্ভের 2011 তত্ত্বাবধায়ক নির্দেশিকা, OCC বুলেটিন 2011-12 এর সাথে যৌথভাবে জারি করা। এটি আশা করে যে ব্যাঙ্কগুলি তাদের উপর নির্ভরশীল মডেলগুলির বিকাশ, বৈধতা, পরিচালনা এবং নিরীক্ষণ করবে। ব্যাঙ্কগুলি এখন এটিকে মেশিন লার্নিং এবং বৃহৎ ভাষার মডেলগুলিতে প্রয়োগ করে, যা ঐতিহ্যগত বৈধতাকে চাপ দেয় কারণ এই মডেলগুলি প্রায়শই অস্বচ্ছ, বিক্রেতাদের দ্বারা সরবরাহ করা হয় এবং অ-নিয়ন্ত্রক। নির্দেশিকা গুরুত্বপূর্ণ কারণ ক্রেডিট, জালিয়াতি, সম্মতি বা গ্রাহক পরিষেবার জন্য AI ব্যবহার করে একটি ব্যাঙ্ককে সুপারভাইজারদের দেখাতে হবে যে তারা বোঝে এবং নিয়ন্ত্রণ করে কিভাবে সেই মডেলগুলি ব্যর্থ হতে পারে।
OCC বুলেটিন 2011-12 এর মতো একই নির্দেশিকা জারি করেছে, তাই দুটি নথি প্রায়ই একসাথে উদ্ধৃত করা হয়।
বৈধতা কভার করে যে ডিজাইনটি সঠিক কিনা, মডেলটি উদ্দেশ্য অনুযায়ী কাজ করে কিনা এবং কীভাবে এর আউটপুট প্রকৃত ফলাফলের সাথে তুলনা করে।
কার্যকরী চ্যালেঞ্জ মানে সক্ষম, স্বাধীন ব্যক্তিদের দ্বারা সমালোচনামূলক বিশ্লেষণ যাদের ফলাফল আসলে পরিবর্তনের দিকে নিয়ে যায়।
বিক্রেতা মডেল এখনও বৈধ করা হয়. যখন অভ্যন্তরীণ বিবরণ অনুপলব্ধ হয়, আচরণ এবং আউটপুট পরীক্ষা আরো ওজন বহন করে।
প্রম্পট, পুনরুদ্ধার ডেটা, প্যারামিটার, টুলস এবং গার্ডেল সবই আউটপুটকে আকার দেয়, তাই সেগুলি পরিবর্তন করা একটি মডেল পরিবর্তন হিসাবে গণ্য হয়।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
NIST AI ঝুঁকি ব্যবস্থাপনা ফ্রেমওয়ার্ক
সমাজ