মডেল নিষ্কাশন এবং চুরি আক্রমণ
মডেল নিষ্কাশন আক্রমণ একটি প্রতিপক্ষকে একটি মালিকানাধীন AI মডেল ক্লোন করতে দেয় শুধুমাত্র তার পাবলিক API জিজ্ঞাসা করে এবং উত্তরগুলিতে একটি কপিক্যাটকে প্রশিক্ষণ দিয়ে।
ওভারভিউ
It matters because companies spend millions training models that can be approximated for the price of a few thousand API calls.
গভীর ডুব
একটি মডেল নিষ্কাশন (বা মডেল চুরি) আক্রমণ একটি স্থাপন করা মডেলকে ওরাকল হিসাবে বিবেচনা করে। আক্রমণকারী ইনপুট পাঠায়, আউটপুট রেকর্ড করে এবং আচরণ অনুকরণ করার জন্য একটি বিকল্প মডেলকে প্রশিক্ষণ দেয়। যেহেতু টার্গেট মডেল নিজেই একটি শেখা ফাংশন ম্যাপিং ইনপুট আউটপুট, পর্যাপ্ত ইনপুট-আউটপুট জোড়া অনুলিপি করা মূল ওজন বা প্রশিক্ষণ ডেটা না দেখেই একটি কাছাকাছি অনুমান পুনর্গঠন করতে পারে। গবেষকরা ইমেজ ক্লাসিফায়ারগুলির সিদ্ধান্তের সীমানা চুরি করেছেন এবং এমনকি ছোট স্তরগুলির সঠিক ওজন পুনরুদ্ধার করেছেন। 2024 সালে, একটি দল OpenAI এবং Google প্রোডাকশন মডেল এমবেডিং লেয়ারের কিছু অংশ কয়েকশ ডলারের নিচে বের করে দেখায়। চুরি হওয়া অনুলিপিগুলি অর্থপ্রদানের পরিষেবাগুলিকে আন্ডারকাট করে, সুরক্ষা ফিল্টারগুলিকে বাইপাস করে এবং প্রতিপক্ষের উদাহরণ তৈরি করার মতো আরও সাদা-বক্স আক্রমণগুলি সক্ষম করে৷
প্রযুক্তিগত অন্তর্দৃষ্টি
API প্রতিক্রিয়া যত বেশি, চুরি তত সস্তা। সম্পূর্ণ সম্ভাব্যতা ভেক্টর বা লজিট ফেরত দিলে একটি একক শীর্ষ-১ লেবেলের চেয়ে কোয়েরি প্রতি অনেক বেশি তথ্য ফাঁস হয়, তাই আক্রমণকারীরা কম ক্যোয়ারী দিয়ে সীমানা পুনর্গঠন করে। সক্রিয়-শিক্ষার কৌশলগুলি সিদ্ধান্তের সীমানার কাছাকাছি সবচেয়ে তথ্যপূর্ণ প্রশ্নগুলি বেছে নেয়। একটি ল্যান্ডমার্ক ফলাফল দেখায় যে আউটপুট মাত্রা গণনার উপর প্রশ্ন করা রৈখিক বীজগণিতের মাধ্যমে চূড়ান্ত রৈখিক অভিক্ষেপ স্তরটি পুনরুদ্ধার করতে পারে, যেহেতু সেই স্তরটি কার্যকরভাবে প্রতিক্রিয়াগুলির স্প্যানের ম্যাট্রিক্স।
কৌশলগত প্রভাব
ঝুঁকি এবং নিরাপত্তা
বিপর্যয়কর এবং দৈনন্দিন এআই ক্ষতি উভয়ই নির্ভর করে কে ঝুঁকি বুঝতে পারে এবং কে কাজ করতে পারে।
সুস্পষ্ট সিদ্ধান্ত
জনসাধারণের এবং পেশাদার সাক্ষরতা গঠন করে যে শক্তিশালী নিরাপত্তা নীতি রাজনৈতিকভাবে সম্ভব কিনা।
হাইপের মাধ্যমে কাটা
স্পষ্ট ব্যাখ্যা হাইপ, ল্যাব পিআর, এবং অস্পষ্ট নীতিশাস্ত্র থিয়েটার দ্বারা ক্যাপচার হ্রাস করে।
মডেল নিষ্কাশন এবং চুরি আক্রমণের ভবিষ্যত
প্রতিরক্ষাগুলি ব্লক করা থেকে শনাক্তকরণ এবং অবক্ষয়ের দিকে স্থানান্তরিত হচ্ছে: হার সীমিত করা, বৃত্তাকার বা শীর্ষ-1-মাত্র আউটপুট ফিরিয়ে দেওয়া, ক্যালিব্রেটেড নয়েজ যোগ করা, ওয়াটারমার্কিং মডেল আচরণ যাতে চুরি হওয়া অনুলিপিগুলি আঙ্গুলের ছাপ করা যায়, এবং নিষ্কাশন স্বাক্ষরের জন্য ক্যোয়ারী প্যাটার্ন পর্যবেক্ষণ করা। নিয়ন্ত্রন এবং লাইসেন্সিং শর্তাদি আশা করুন যেগুলি নিষ্কাশনকে চুরি হিসাবে বিবেচনা করে, এছাড়াও প্রমাণিতভাবে কঠিন থেকে নিষ্কাশন আর্কিটেকচারগুলিতে সক্রিয় গবেষণা। মডেলগুলি বড় হওয়ার সাথে সাথে সম্পূর্ণ নিষ্কাশন ব্যয়বহুল থাকে, তবে মূল্যবান উপাদানগুলির আংশিক নিষ্কাশন এবং পাতন-শৈলী ক্লোনিং একটি স্থায়ী বাণিজ্যিক এবং নিরাপত্তা হুমকি হয়ে থাকবে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি স্টার্টআপ একটি প্রতিযোগীর অর্থপ্রদত্ত ইমেজ-স্বীকৃতি API হাজার হাজার বার জিজ্ঞাসা করে এবং একটি বিনামূল্যের ক্লোনকে প্রশিক্ষণ দেয় যা এর যথার্থতার প্রতিলিপি করে।
নিরাপত্তা গবেষকরা শুধুমাত্র কয়েকশ ডলার খরচ করে সাবধানে তৈরি করা API ক্যোয়ারী ব্যবহার করে একটি প্রোডাকশন ল্যাঙ্গুয়েজ মডেলের চূড়ান্ত এমবেডিং-প্রজেকশন লেয়ার বের করেন।
একজন আক্রমণকারী স্থানীয়ভাবে একটি স্প্যাম বা জালিয়াতি শ্রেণীবদ্ধকারীকে ক্লোন করে যাতে তারা এটিকে অফলাইনে তদন্ত করতে পারে এবং নির্ভরযোগ্যভাবে সনাক্তকরণ এড়াতে পারে এমন ইনপুট তৈরি করতে পারে।
একটি ক্লাউড বিক্রেতা ক্যোয়ারী-রেট নিরীক্ষণ যোগ করে যা একটি অ্যাকাউন্টকে ফ্ল্যাগ করে যার অ্যাক্সেস প্যাটার্ন সক্রিয়-লার্নিং নিষ্কাশনের সাথে মেলে এবং এর প্রতিক্রিয়াগুলিকে থ্রোটল করে।
ঝুঁকি এবং প্রহরী
সক্ষমতা যৌগিক অবস্থায় অস্তিত্বগত ঝুঁকিকে সাই-ফাই হিসাবে বিবেচনা করা।
উচ্চ স্বায়ত্তশাসনের অধীনে প্রান্তিককরণের সাথে বিভ্রান্তিকর পৃষ্ঠ পণ্য নিরাপত্তা।
অ-ইংরেজি এবং অ-বিশেষজ্ঞ শ্রোতাদের শুধুমাত্র নিম্ন-মানের উত্স সহ ত্যাগ করা।
বাস্তবায়ন রোডম্যাপ
পৃথক পণ্য ক্ষতি, অপব্যবহার, এবং ক্ষতি-অব-নিয়ন্ত্রণ/বিভ্রান্তির ঝুঁকি।
জিজ্ঞাসা করুন কি প্রমাণ সময়সীমা এবং তীব্রতা আপনার দৃষ্টিভঙ্গি পরিবর্তন করবে.
বিপণন দাবির চেয়ে প্রাথমিক উত্স এবং কংক্রিট ইভাল পছন্দ করুন।
একটি কর্ম পথ চিহ্নিত করুন: কর্মজীবন, নীতি, অর্থায়ন, বা দক্ষতা - শুধুমাত্র সচেতনতা নয়।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Extraction and Stealing Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
সদস্যতা অনুমান আক্রমণ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Model Extraction and Stealing Attacks?
মডেল নিষ্কাশন আক্রমণ একটি প্রতিপক্ষকে একটি মালিকানাধীন AI মডেল ক্লোন করতে দেয় শুধুমাত্র তার পাবলিক API জিজ্ঞাসা করে এবং উত্তরগুলিতে একটি কপিক্যাটকে প্রশিক্ষণ দিয়ে। এটি গুরুত্বপূর্ণ কারণ কোম্পানিগুলি লক্ষ লক্ষ প্রশিক্ষণ মডেল ব্যয় করে যা কয়েক হাজার API কলের মূল্যের জন্য আনুমানিক হতে পারে।
একটি মডেল নিষ্কাশন আক্রমণ পিছনে মূল ধারণা কি?
নিষ্কাশন স্থাপন করা মডেলটিকে একটি ওরাকল হিসাবে বিবেচনা করে: আক্রমণকারী ইনপুট-আউটপুট জোড়া সংগ্রহ করে এবং আচরণটি অনুকরণ করার জন্য একটি কপিক্যাট মডেলকে প্রশিক্ষণ দেয়, কখনও আসল ওজন অ্যাক্সেস না করে।
কেন সম্পূর্ণ সম্ভাব্যতা ভেক্টর ফেরত শুধুমাত্র একটি শীর্ষ-1 লেবেল ফেরত চেয়ে নিষ্কাশন সহজ করে তোলে?
প্রতিটি পূর্ণ সম্ভাব্যতা ভেক্টর একটি একক লেবেলের চেয়ে মডেলের অভ্যন্তরীণ সিদ্ধান্তের পৃষ্ঠ সম্পর্কে অনেক বেশি প্রকাশ করে, আক্রমণকারীকে কম প্রশ্নের সাথে সীমানা পুনর্গঠন করতে দেয়।
কোন প্রতিরক্ষামূলক কৌশল সরাসরি প্রতি প্রশ্নে ফাঁস হওয়া তথ্য হ্রাস করে?
মোটা আউটপুট, উদাহরণস্বরূপ শুধুমাত্র শীর্ষ লেবেল বা বৃত্তাকার সম্ভাব্যতা ফিরিয়ে দেওয়া, প্রতিটি প্রতিক্রিয়া আক্রমণকারীকে যে সংকেত দেয় তা হ্রাস করে, নিষ্কাশনের খরচ বাড়ায়।
একটি 2024 ফলাফল দেখিয়েছে যে আক্রমণকারীরা একটি উত্পাদন ভাষা মডেলের কোন অংশটি সস্তায় পুনরুদ্ধার করতে পারে?
গবেষকরা দেখিয়েছেন যে চূড়ান্ত রৈখিক অভিক্ষেপ স্তরটি ঠিক কয়েকশ ডলারের জন্য পুনরুদ্ধার করা যেতে পারে, কারণ এর প্রতিক্রিয়াগুলি একটি পুনরুদ্ধারযোগ্য ম্যাট্রিক্স বিস্তৃত।
কেন চুরি করা বিকল্প মডেল শুধু হারানো রাজস্বের বাইরে বিপজ্জনক?
আক্রমণকারীদের একটি স্থানীয় অনুলিপি থাকলে, তারা প্রতিপক্ষের ইনপুট বা ফাঁকি দেওয়ার আক্রমণগুলি ডিজাইন করতে অবাধে তদন্ত করতে পারে যা মূল স্থাপন করা সিস্টেমকে বোকা বানিয়ে দেয়।