সোসাইটি গাইড

মডেল নিষ্কাশন এবং চুরি আক্রমণ

মডেল নিষ্কাশন আক্রমণ একটি প্রতিপক্ষকে একটি মালিকানাধীন AI মডেল ক্লোন করতে দেয় শুধুমাত্র তার পাবলিক API জিজ্ঞাসা করে এবং উত্তরগুলিতে একটি কপিক্যাটকে প্রশিক্ষণ দিয়ে।

ওভারভিউ

মডেল নিষ্কাশন আক্রমণ একটি প্রতিপক্ষকে একটি মালিকানাধীন AI মডেল ক্লোন করতে দেয় শুধুমাত্র তার পাবলিক API জিজ্ঞাসা করে এবং উত্তরগুলিতে একটি কপিক্যাটকে প্রশিক্ষণ দিয়ে। এটি গুরুত্বপূর্ণ কারণ কোম্পানিগুলি লক্ষ লক্ষ প্রশিক্ষণ মডেল ব্যয় করে যা কয়েক হাজার API কলের মূল্যের জন্য আনুমানিক হতে পারে।

মডেল এক্সট্র্যাকশন এবং স্টিলিং অ্যাটাকগুলি AI-এর সামাজিক এবং শাসন স্তরের অন্তর্গত, যেখানে নীতি, জবাবদিহিতা এবং জনগণের বিশ্বাস দীর্ঘমেয়াদী প্রভাব তৈরি করে।

গভীর ডুব

একটি মডেল নিষ্কাশন (বা মডেল চুরি) আক্রমণ একটি স্থাপন করা মডেলকে ওরাকল হিসাবে বিবেচনা করে। আক্রমণকারী ইনপুট পাঠায়, আউটপুট রেকর্ড করে এবং আচরণ অনুকরণ করার জন্য একটি বিকল্প মডেলকে প্রশিক্ষণ দেয়। যেহেতু টার্গেট মডেল নিজেই একটি শেখা ফাংশন ম্যাপিং ইনপুট আউটপুট, পর্যাপ্ত ইনপুট-আউটপুট জোড়া অনুলিপি করা মূল ওজন বা প্রশিক্ষণ ডেটা না দেখেই একটি কাছাকাছি অনুমান পুনর্গঠন করতে পারে। গবেষকরা ইমেজ ক্লাসিফায়ারগুলির সিদ্ধান্তের সীমানা চুরি করেছেন এবং এমনকি ছোট স্তরগুলির সঠিক ওজন পুনরুদ্ধার করেছেন। 2024 সালে, একটি দল OpenAI এবং Google প্রোডাকশন মডেল এমবেডিং লেয়ারের কিছু অংশ কয়েকশ ডলারের নিচে বের করে দেখায়। চুরি হওয়া অনুলিপিগুলি অর্থপ্রদানের পরিষেবাগুলিকে আন্ডারকাট করে, সুরক্ষা ফিল্টারগুলিকে বাইপাস করে এবং প্রতিপক্ষের উদাহরণ তৈরি করার মতো আরও সাদা-বক্স আক্রমণগুলি সক্ষম করে৷

প্রযুক্তিগত অন্তর্দৃষ্টি

API প্রতিক্রিয়া যত বেশি, চুরি তত সস্তা। সম্পূর্ণ সম্ভাব্যতা ভেক্টর বা লজিট ফেরত দিলে একটি একক শীর্ষ-১ লেবেলের চেয়ে কোয়েরি প্রতি অনেক বেশি তথ্য ফাঁস হয়, তাই আক্রমণকারীরা কম ক্যোয়ারী দিয়ে সীমানা পুনর্গঠন করে। সক্রিয়-শিক্ষার কৌশলগুলি সিদ্ধান্তের সীমানার কাছাকাছি সবচেয়ে তথ্যপূর্ণ প্রশ্নগুলি বেছে নেয়। একটি ল্যান্ডমার্ক ফলাফল দেখায় যে আউটপুট মাত্রা গণনার উপর প্রশ্ন করা রৈখিক বীজগণিতের মাধ্যমে চূড়ান্ত রৈখিক অভিক্ষেপ স্তরটি পুনরুদ্ধার করতে পারে, যেহেতু সেই স্তরটি কার্যকরভাবে প্রতিক্রিয়াগুলির স্প্যানের ম্যাট্রিক্স।

মডেল নিষ্কাশন এবং চুরি আক্রমণ মাস্টারিং

মডেল নিষ্কাশন আক্রমণ একটি প্রতিপক্ষকে একটি মালিকানাধীন AI মডেল ক্লোন করতে দেয় শুধুমাত্র তার পাবলিক API জিজ্ঞাসা করে এবং উত্তরগুলিতে একটি কপিক্যাটকে প্রশিক্ষণ দিয়ে। এটি গুরুত্বপূর্ণ কারণ কোম্পানিগুলি লক্ষ লক্ষ প্রশিক্ষণ মডেল ব্যয় করে যা কয়েক হাজার API কলের মূল্যের জন্য আনুমানিক হতে পারে। মডেল এক্সট্র্যাকশন এবং স্টিলিং অ্যাটাকগুলি AI-এর সামাজিক এবং শাসন স্তরের অন্তর্গত, যেখানে নীতি, জবাবদিহিতা এবং জনগণের বিশ্বাস দীর্ঘমেয়াদী প্রভাব তৈরি করে। গভীর বোঝাপড়া তৈরি করতে, মডেল এক্সট্রাকশন এবং স্টিলিং অ্যাটাকগুলিকে একটি অপারেটিং মডেল হিসাবে বিবেচনা করুন, একটি একক বৈশিষ্ট্য নয়: পছন্দসই ফলাফলগুলি সংজ্ঞায়িত করুন, অনুমানগুলি স্পষ্ট করুন এবং সিস্টেমটি নির্ভরযোগ্যভাবে কী করতে পারে তা এখনও বিশেষজ্ঞের বিচারের প্রয়োজন থেকে আলাদা করুন৷

অনুশীলনে, মডেল এক্সট্র্যাকশন এবং স্টিলিং অ্যাটাক ব্যবহার করে শক্তিশালী দলগুলি শাসন, নিরাপত্তা এবং স্পষ্ট জবাবদিহির কাঠামোর সাথে সক্ষমতা বৃদ্ধি করে। তারা সুস্পষ্ট সাফল্যের মাপকাঠি নথিভুক্ত করে, বাস্তবসম্মত ডেটা এবং কর্মপ্রবাহের বিরুদ্ধে পরীক্ষা করে এবং এককালীন বেঞ্চমার্ক জয়ের পরিবর্তে পর্যবেক্ষিত ব্যর্থতার ধরণগুলির উপর ভিত্তি করে পুনরাবৃত্তি করে। এখানেই তাত্ত্বিক বোঝাপড়া পণ্য, নীতি এবং অপারেশন জুড়ে টেকসই সক্ষমতায় পরিণত হয়।

সামাজিক সিদ্ধান্তগুলি নির্ধারণ করে কে উপকৃত হবে এবং কে ঝুঁকি বহন করবে। একই সময়ে, ব্রড দাবিগুলি প্রমাণ এবং দায়িত্বশীল তদারকির চেয়ে দ্রুত প্রচারিত হতে পারে। সবচেয়ে স্থিতিস্থাপক পদ্ধতি হল প্রশাসনিক শৃঙ্খলার সাথে পরীক্ষার গতিকে একত্রিত করা: পাইলট চালান, প্রমাণ ক্যাপচার করুন, সিদ্ধান্তের লগ প্রকাশ করুন এবং মডেল আচরণ, ব্যবহারকারীর প্রত্যাশা এবং নিয়ন্ত্রক প্রয়োজনীয়তাগুলি বিকশিত হওয়ার সাথে সাথে অবিচ্ছিন্ন সুরক্ষাগুলি আপডেট করুন।

কৌশলগত প্রভাব

সামাজিক সিদ্ধান্তগুলি নির্ধারণ করে কে উপকৃত হবে এবং কে ঝুঁকি বহন করবে।

সামাজিক সিদ্ধান্তগুলি নির্ধারণ করে কে উপকৃত হবে এবং কে ঝুঁকি বহন করবে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।

সরকারী প্রতিষ্ঠান, স্কুল এবং ব্যবসা সবই স্পষ্ট এআই শাসনের উপর নির্ভর করে।

সরকারী প্রতিষ্ঠান, স্কুল এবং ব্যবসা সবই স্পষ্ট এআই শাসনের উপর নির্ভর করে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।

ভাল নীতি নকশা দরকারী উদ্ভাবন ব্লক না করে নিরাপত্তা উন্নত করতে পারে।

ভাল নীতি নকশা দরকারী উদ্ভাবন ব্লক না করে নিরাপত্তা উন্নত করতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।

মডেল নিষ্কাশন এবং চুরি আক্রমণের ভবিষ্যত

প্রতিরক্ষাগুলি ব্লক করা থেকে শনাক্তকরণ এবং অবক্ষয়ের দিকে স্থানান্তরিত হচ্ছে: হার সীমিত করা, বৃত্তাকার বা শীর্ষ-1-মাত্র আউটপুট ফিরিয়ে দেওয়া, ক্যালিব্রেটেড নয়েজ যোগ করা, ওয়াটারমার্কিং মডেল আচরণ যাতে চুরি হওয়া অনুলিপিগুলি আঙ্গুলের ছাপ করা যায়, এবং নিষ্কাশন স্বাক্ষরের জন্য ক্যোয়ারী প্যাটার্ন পর্যবেক্ষণ করা। নিয়ন্ত্রন এবং লাইসেন্সিং শর্তাদি আশা করুন যেগুলি নিষ্কাশনকে চুরি হিসাবে বিবেচনা করে, এছাড়াও প্রমাণিতভাবে কঠিন থেকে নিষ্কাশন আর্কিটেকচারগুলিতে সক্রিয় গবেষণা। মডেলগুলি বড় হওয়ার সাথে সাথে সম্পূর্ণ নিষ্কাশন ব্যয়বহুল থাকে, তবে মূল্যবান উপাদানগুলির আংশিক নিষ্কাশন এবং পাতন-শৈলী ক্লোনিং একটি স্থায়ী বাণিজ্যিক এবং নিরাপত্তা হুমকি হয়ে থাকবে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি স্টার্টআপ একটি প্রতিযোগীর অর্থপ্রদত্ত ইমেজ-স্বীকৃতি API হাজার হাজার বার জিজ্ঞাসা করে এবং একটি বিনামূল্যের ক্লোনকে প্রশিক্ষণ দেয় যা এর যথার্থতার প্রতিলিপি করে।

নিরাপত্তা গবেষকরা শুধুমাত্র কয়েকশ ডলার খরচ করে সাবধানে তৈরি করা API ক্যোয়ারী ব্যবহার করে একটি প্রোডাকশন ল্যাঙ্গুয়েজ মডেলের চূড়ান্ত এমবেডিং-প্রজেকশন লেয়ার বের করেন।

একজন আক্রমণকারী স্থানীয়ভাবে একটি স্প্যাম বা জালিয়াতি শ্রেণীবদ্ধকারীকে ক্লোন করে যাতে তারা এটিকে অফলাইনে তদন্ত করতে পারে এবং নির্ভরযোগ্যভাবে সনাক্তকরণ এড়াতে পারে এমন ইনপুট তৈরি করতে পারে।

একটি ক্লাউড বিক্রেতা ক্যোয়ারী-রেট নিরীক্ষণ যোগ করে যা একটি অ্যাকাউন্টকে ফ্ল্যাগ করে যার অ্যাক্সেস প্যাটার্ন সক্রিয়-লার্নিং নিষ্কাশনের সাথে মেলে এবং এর প্রতিক্রিয়াগুলিকে থ্রোটল করে।

বাস্তবায়ন নিদর্শন

অনুশীলনে মডেল নিষ্কাশন এবং চুরি আক্রমণ

একটি স্টার্টআপ একটি প্রতিযোগীর অর্থপ্রদত্ত ইমেজ-স্বীকৃতি API হাজার হাজার বার জিজ্ঞাসা করে এবং একটি বিনামূল্যের ক্লোনকে প্রশিক্ষণ দেয় যা এর যথার্থতার প্রতিলিপি করে।

একটি স্টার্টআপ একটি প্রতিযোগীর অর্থপ্রদত্ত চিত্র-স্বীকৃতি API কে হাজার হাজার বার প্রশ্ন করে এবং একটি বিনামূল্যের ক্লোনকে প্রশিক্ষণ দেয় যা তার নির্ভুলতার প্রতিলিপি করে দলগুলি সাধারণত আরও ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷

অনুশীলনে মডেল নিষ্কাশন এবং চুরি আক্রমণ

নিরাপত্তা গবেষকরা শুধুমাত্র কয়েকশ ডলার খরচ করে সাবধানে তৈরি করা API ক্যোয়ারী ব্যবহার করে একটি প্রোডাকশন ল্যাঙ্গুয়েজ মডেলের চূড়ান্ত এমবেডিং-প্রজেকশন লেয়ার বের করেন।

নিরাপত্তা গবেষকরা একটি প্রোডাকশন ল্যাঙ্গুয়েজ মডেলের চূড়ান্ত এমবেডিং-প্রজেকশন লেয়ার বের করেন মাত্র কয়েকশ ডলার খরচ করে সযত্নে তৈরি করা API ক্যোয়ারী ব্যবহার করে দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷

অনুশীলনে মডেল নিষ্কাশন এবং চুরি আক্রমণ

একজন আক্রমণকারী স্থানীয়ভাবে একটি স্প্যাম বা জালিয়াতি শ্রেণীবদ্ধকারীকে ক্লোন করে যাতে তারা এটিকে অফলাইনে তদন্ত করতে পারে এবং নির্ভরযোগ্যভাবে সনাক্তকরণ এড়াতে পারে এমন ইনপুট তৈরি করতে পারে।

একজন আক্রমণকারী স্থানীয়ভাবে একটি স্প্যাম বা জালিয়াতি শ্রেণীবদ্ধকারীকে ক্লোন করে যাতে তারা এটি অফলাইনে তদন্ত করতে পারে এবং ক্রাফ্ট ইনপুট যা নির্ভরযোগ্যভাবে সনাক্তকরণ এড়ায় দলগুলি সাধারণত আরও ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানব বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷

অনুশীলনে মডেল নিষ্কাশন এবং চুরি আক্রমণ

একটি ক্লাউড বিক্রেতা ক্যোয়ারী-রেট নিরীক্ষণ যোগ করে যা একটি অ্যাকাউন্টকে ফ্ল্যাগ করে যার অ্যাক্সেস প্যাটার্ন সক্রিয়-লার্নিং নিষ্কাশনের সাথে মেলে এবং এর প্রতিক্রিয়াগুলিকে থ্রোটল করে।

একটি ক্লাউড বিক্রেতা ক্যোয়ারী-রেট মনিটরিং যোগ করে যা একটি অ্যাকাউন্টকে ফ্ল্যাগ করে যার অ্যাক্সেস প্যাটার্ন অ্যাক্টিভ-লার্নিং এক্সট্রাকশনের সাথে মেলে এবং এর প্রতিক্রিয়াগুলিকে থ্রোটল করে দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷

ঝুঁকি এবং প্রহরী

!

বিস্তৃত দাবি প্রমাণ এবং দায়িত্বশীল তদারকির চেয়ে দ্রুত প্রচারিত হতে পারে।

!

দুর্বল শাসন দায়বদ্ধতার ফাঁক রেখে যেতে পারে যখন ক্ষতি হয়।

!

অ্যাক্সেস, স্বচ্ছতা এবং যাচাই-বাছাই সীমিত হলে ক্ষমতা কেন্দ্রীভূত হতে পারে।

বাস্তবায়ন রোডম্যাপ

1

প্রভাবিত স্টেকহোল্ডারদের চিহ্নিত করুন এবং ক্ষতিগুলি সবচেয়ে গুরুত্বপূর্ণ।

প্রভাবিত স্টেকহোল্ডারদের চিহ্নিত করুন এবং ক্ষতিগুলি সবচেয়ে গুরুত্বপূর্ণ। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।

2

ডেটা, মডেল এবং সিদ্ধান্তের জন্য স্বচ্ছতার প্রয়োজনীয়তা সেট করুন।

ডেটা, মডেল এবং সিদ্ধান্তের জন্য স্বচ্ছতার প্রয়োজনীয়তা সেট করুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।

3

উচ্চ-ঝুঁকির সিস্টেমের জন্য স্বাধীন পর্যালোচনা বা রেড-টিম টেস্টিং যোগ করুন।

উচ্চ-ঝুঁকির সিস্টেমের জন্য স্বাধীন পর্যালোচনা বা রেড-টিম টেস্টিং যোগ করুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।

4

ক্ষমতা এবং ব্যবহারের ধরণগুলি বিকশিত হওয়ার সাথে সাথে নীতি এবং নিয়ন্ত্রণগুলি আপডেট করুন৷

ক্ষমতা এবং ব্যবহারের ধরণগুলি বিকশিত হওয়ার সাথে সাথে নীতি এবং নিয়ন্ত্রণগুলি আপডেট করুন৷ প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।

অন্বেষণ চালিয়ে যান