কীভাবে এআই ব্যর্থতা আর্থিক ব্যবস্থার মাধ্যমে ক্যাসকেড করতে পারে তা অনুমান করার জন্য গবেষণা একটি কাঠামোর প্রস্তাব করে

কি হয়েছে

গবেষকরা জটিল আর্থ-প্রযুক্তিগত সিস্টেমের মাধ্যমে এআই আচরণের সন্ধান এবং এর বিস্তৃত পরিণতি অনুমান করার জন্য একটি কাঠামো প্রস্তাব করেছেন। যুক্তরাজ্যের রিয়েল টাইম গ্রস সেটেলমেন্ট সিস্টেমকে একটি দৃষ্টান্তমূলক কেস হিসাবে ব্যবহার করে, তারা মডেল করে যে কীভাবে এআই-ভিত্তিক ট্রেডিং সুপারিশগুলির প্রতিপক্ষের ম্যানিপুলেশন আর্থিক সংক্রামনে অবদান রাখতে পারে।

24 অগাস্ট arXiv-এ জমা দেওয়া কাগজটি জটিল আর্থ-প্রযুক্তিগত সিস্টেমের মধ্যে AI স্থাপন করা হলে যে ক্ষতি হয় তা অধ্যয়ন করার জন্য একটি কাঠামো উপস্থাপন করে। লেখকরা যুক্তি দেন যে বর্তমান এআই মূল্যায়ন সাধারণত মডেল-কেন্দ্রিক: এটি একটি সিস্টেম নির্দিষ্ট পরীক্ষায় কীভাবে আচরণ করে তা পরিমাপ করে কিন্তু প্রায়শই দেখায় না যে আচরণটি কীভাবে একটি বৃহত্তর প্রতিষ্ঠান বা অবকাঠামো নেটওয়ার্ককে প্রভাবিত করতে পারে। তাদের প্রস্তাবিত পদ্ধতির কাঠামোগত বিপদ বিশ্লেষণ, উপাদান-স্তরের পরীক্ষা এবং সম্ভাব্য সিস্টেম মডেলিংকে একত্রিত করে।

ফ্রেমওয়ার্কটি যুক্তরাজ্যের রিয়েল টাইম গ্রস সেটেলমেন্ট সিস্টেমে একটি দৃষ্টান্তমূলক কাজের উদাহরণ হিসাবে প্রয়োগ করা হয়েছে। উত্সটি এই সিস্টেমটিকে AI-চালিত ক্ষতির পরিস্থিতি তৈরি করার জন্য সেটিং হিসাবে বর্ণনা করে, যার মধ্যে একটি বড় ভাষা মডেল-ভিত্তিক ট্রেডিংয়ের প্রতিপক্ষের ম্যানিপুলেশন জড়িত। কাগজটি সম্ভাব্য বিপদ সনাক্ত করতে সিস্টেম তাত্ত্বিক প্রক্রিয়া বিশ্লেষণ ব্যবহার করে এবং তারপরে আর্থিক সংক্রামক মডেলের ফলাফলের সাথে মডেল আচরণকে সংযুক্ত করার চেষ্টা করে।

কাগজ অনুসারে, উপাদান-স্তরের পরীক্ষায় দেখা গেছে যে সাধারণ প্রতিকূল ইনপুটগুলি পরিমাপযোগ্য আচরণগত পরিবর্তন তৈরি করে যখন AI সুপারিশগুলি অনুসরণ করা হয়। উৎসটি সঠিক ইনপুট, মডেল কনফিগারেশন, পরীক্ষামূলক নমুনার আকার বা পরিবর্তনের সংখ্যাসূচক আকার তার বিমূর্তটিতে প্রদান করে না। তাই এটি লেখকদের রিপোর্ট করা ফলাফল প্রতিষ্ঠা করে, কিন্তু প্রতিটি এআই ট্রেডিং সিস্টেম বা প্রতিকূল প্রম্পটিংয়ের বিষয়ে একটি সাধারণ উপসংহার নয়।

লেখকের মডেলে ব্যবহৃত উপাদান-টু-সিস্টেম ম্যাপিংয়ের অধীনে, সেই আচরণগত পরিবর্তনগুলি আর্থিক ব্যবস্থার মডেলযুক্ত স্থিতিস্থাপকতাকে পরিবর্তন করেছে। গবেষণাপত্রটি আরও ব্যাঙ্কের ব্যর্থতা এবং একটি নিম্ন প্রান্তিকতার রিপোর্ট করে যেখানে ধাক্কাগুলি ক্যাসকেডিং ব্যাঘাত সৃষ্টি করে, বিশেষ করে যখন এআই গ্রহণ ব্যাপক বা একচেটিয়া ব্যবস্থায় কেন্দ্রীভূত ছিল। এগুলি কাগজের নির্দিষ্ট মডেল এবং অনুমানের ফলাফল, বাস্তব-বিশ্বের আর্থিক ক্যাসকেড হয়েছে এমন প্রমাণ নয়।

উত্স বিবরণ: arxiv.org ↗

কেন এটা গুরুত্বপূর্ণ

কাগজটি বিচ্ছিন্নভাবে একটি এআই মডেল পরীক্ষা করা এবং সমালোচনামূলক অবকাঠামোতে এম্বেড করার সময় এর ব্যর্থতাগুলি কী করতে পারে তা মূল্যায়ন করার মধ্যে একটি ব্যবধানকে সম্বোধন করে। এর ফলাফলগুলি পরামর্শ দেয় যে AI এর ব্যাপক বা ঘনীভূত গ্রহণ মডেল করা আর্থিক ব্যবস্থাগুলিকে ধাক্কার জন্য কম স্থিতিস্থাপক করে তুলতে পারে, যদিও ফলাফলগুলি কাগজের অনুমান এবং চিত্রিত ম্যাপিংয়ের উপর নির্ভর করে।

কাগজের কেন্দ্রীয় অবদান হল মডেলের বাইরে এআই ব্যর্থতার অর্থ কী তা জিজ্ঞাসা করার একটি উপায়। একটি সিস্টেম একটি সমস্যাযুক্ত সুপারিশ তৈরি করতে পারে, কিন্তু জনসাধারণের পরিণতি নির্ভর করে যে লোকেরা এটিতে কাজ করে কিনা, কতগুলি প্রতিষ্ঠান একই সিস্টেম ব্যবহার করে, সিদ্ধান্তগুলি কত দ্রুত প্রচারিত হয় এবং কোন সুরক্ষা বিদ্যমান। এই লিঙ্কগুলিকে স্পষ্টভাবে মডেল করার মাধ্যমে, ফ্রেমওয়ার্কের লক্ষ্য অপারেটর এবং নিয়ন্ত্রকদের জন্য ঝুঁকি মূল্যায়নকে আরও উপযোগী করে তোলা।

আর্থিক উদাহরণ গুরুত্বপূর্ণ কারণ নিষ্পত্তি এবং ট্রেডিং সিদ্ধান্তগুলি আন্তঃসংযুক্ত। যদি অনেক প্রতিষ্ঠান অনুরূপ AI সুপারিশের উপর নির্ভর করে, একটি প্রতিকূল ইনপুট বা ভাগ করা ব্যর্থতা তাত্ত্বিকভাবে বিচ্ছিন্ন ভুলের পরিবর্তে পারস্পরিক সম্পর্কযুক্ত সিদ্ধান্ত তৈরি করতে পারে। কাগজের মডেল ইঙ্গিত করে যে এই ঘনত্ব স্থিতিস্থাপকতা হ্রাস করতে পারে এবং বৃহত্তর ব্যাঘাত ঘটাতে যথেষ্ট ছোট শক তৈরি করতে পারে। সূত্রটি প্রতিষ্ঠিত করে না যে এই ধরনের ঘনত্ব বর্তমানে প্রকৃত আর্থিক ব্যবস্থার একটি নির্দিষ্ট স্তরে বিদ্যমান।

অনুসন্ধানগুলি একটি সাধারণ অনুমানকে জটিল করে তোলে যে AI যোগ করা কেবলমাত্র পৃথক মডেলের নির্ভুলতা উন্নত করার একটি বিষয়। এমনকি যদি একটি মডেল উপাদান পরীক্ষায় ভাল পারফর্ম করে, আশেপাশের কর্মপ্রবাহ অটোমেশন, ভাগ করা অবকাঠামো বা মানব নির্ভরতার মাধ্যমে ত্রুটিগুলিকে প্রসারিত করতে পারে। উত্সটি এটিকে একটি প্রশাসনিক সমস্যা হিসাবে ফ্রেম করে: সংস্থাগুলির সিস্টেম-স্তরের প্রভাব সম্পর্কে প্রমাণের প্রয়োজন, শুধুমাত্র বেঞ্চমার্ক স্কোর বা মডেল-স্তরের নিরাপত্তা মূল্যায়ন নয়।

গুরুত্বপূর্ণ সীমা আছে। নিবন্ধটি একটি arXiv প্রিপ্রিন্ট, সরবরাহকৃত উত্স অনুসারে পিয়ার-পর্যালোচিত প্রকাশনা নয়। এর আর্থিক কেসটি স্পষ্টভাবে দৃষ্টান্তমূলক, এবং রিপোর্ট করা সিস্টেমের ফলাফলগুলি নির্বাচিত উপাদান-টু-সিস্টেম ম্যাপিং এবং সংক্রামক মডেলের উপর নির্ভর করে। বিমূর্তটি বিবৃত করে না যে পরীক্ষাগুলি লাইভ মার্কেট ডেটা, উত্পাদন সিস্টেম বা প্রতিনিধি প্রাতিষ্ঠানিক সিদ্ধান্ত-নির্মাতাদের ব্যবহার করেছে কিনা। এই অজানাগুলি সীমিত কিভাবে সরাসরি ফলাফলগুলি সাধারণীকরণ করা যায়।

পরবর্তী কি দেখতে

মূল প্রশ্ন হল ফ্রেমওয়ার্কটি অপারেশনাল ডেটা দিয়ে যাচাই করা যায় কিনা এবং কাগজের দৃষ্টান্তমূলক আর্থিক মডেলের বাইরে প্রয়োগ করা যায়। ভবিষ্যত কাজের বিভিন্ন দত্তক নেওয়ার ধরণ, সুরক্ষা, মানুষের সিদ্ধান্তের প্রক্রিয়া, বাজারের কাঠামো এবং আক্রমণের পদ্ধতিগুলি পরীক্ষা করা উচিত, যেখানে কোন ফলাফলগুলি পরীক্ষামূলকভাবে পরিমাপ করা হয় এবং কোনটি মডেল-ভিত্তিক অনুমান।

ফ্রেমওয়ার্কের জন্য একটি প্রথম পরীক্ষা হবে স্বাধীন গবেষকরা উপাদান পরীক্ষা এবং সিস্টেম-স্তরের ম্যাপিং পুনরুত্পাদন করতে পারে কিনা। দরকারী প্রতিবেদনে প্রতিপক্ষের ইনপুট, মডেল সংস্করণ, সিদ্ধান্তের থ্রেশহোল্ড, পরীক্ষার সংখ্যা, পরিমাপিত আচরণগত পরিবর্তন এবং অনিশ্চয়তার সীমা অন্তর্ভুক্ত থাকবে। এই বিবরণগুলি ছাড়া, পাঠকরা সহজেই বিচার করতে পারে না যে রিপোর্ট করা পরিবর্তনগুলি কতটা শক্তিশালী বা বিকল্প অনুমানগুলি বিভিন্ন ফলাফল তৈরি করে কিনা।

ভবিষ্যত অধ্যয়নগুলি পরীক্ষা করা উচিত যে মানুষের তত্ত্বাবধান মডেল করা ক্ষতি হ্রাস করে বা প্রশস্ত করে। উত্সটি বলে যে উপাদানের ফলাফলটি ঘটে যেখানে AI সুপারিশগুলি অনুসরণ করা হয়, তবে বিমূর্তটি নির্দিষ্ট করে না যে কীভাবে মানুষের পর্যালোচনা উপস্থাপন করা হয়। প্রশ্নগুলির মধ্যে রয়েছে পর্যালোচকরা প্রতিকূল পরিবর্তনগুলি ধরতে পারে কিনা, সময়ের চাপ তাদের আচরণ পরিবর্তন করে কিনা এবং একাধিক প্রতিষ্ঠান একই সুপারিশে ভিন্নভাবে সাড়া দেয় কিনা।

কাঠামোটি দত্তক নেওয়ার কাঠামো জুড়েও পরীক্ষা করা উচিত। কাগজটি ব্যাপক এবং একচেটিয়া এআই গ্রহণকে হাইলাইট করে, তাই ফলো-আপ কাজের শেয়ার্ড বনাম বিভিন্ন মডেল, কেন্দ্রীভূত বনাম বিতরণকারী প্রদানকারী এবং স্বাধীন ফলব্যাক পদ্ধতির সাথে সিস্টেমের তুলনা করা উচিত। এটিও মূল্যায়ন করা উচিত যে ঘনত্ব পরিমাপযোগ্য সাধারণ-মোড ব্যর্থতার ঝুঁকি তৈরি করে বা অপারেশনাল সুরক্ষাগুলি মডেল করা ক্যাসকেডকে বাধা দেয় কিনা।

পরিশেষে, ব্যবহারিক শাসন নির্ভর করবে এমন নিয়ন্ত্রণগুলি চিহ্নিত করার উপর যা শুধুমাত্র ঝুঁকি বর্ণনা করার পরিবর্তে ফলাফলকে পরিবর্তন করে। প্রাসঙ্গিক প্রমাণের মধ্যে থাকবে স্থাপনার আগে প্রতিকূল পরীক্ষা, স্বয়ংক্রিয় সম্পাদনের সীমাবদ্ধতা, স্বাধীন পর্যবেক্ষণ, মডেল এবং প্রদানকারীর বৈচিত্র্য, স্পষ্টভাবে সংজ্ঞায়িত মানব হস্তক্ষেপের পয়েন্ট এবং অনুশীলন যা পারস্পরিক ব্যর্থতার অনুকরণ করে। বর্তমান উত্সটি এই জাতীয় বিশ্লেষণের দিকে একটি রুট প্রস্তাব করে তবে রিপোর্ট করে না যে এই সুরক্ষাগুলি পরীক্ষা করা হয়েছে বা কাজ করতে দেখানো হয়েছে।

সম্পর্কিত গাইড এবং কুইজ