ডেটা পয়জনিং এবং ব্যাকডোর অ্যাটাক
ডেটা বিষক্রিয়া একটি মডেলকে তার প্রশিক্ষণের ডেটার সাথে টেম্পারিং করে দূষিত করে, এবং ব্যাকডোর অ্যাটাকগুলি একটি গোপন ট্রিগার লুকিয়ে রাখে যা মডেলটিকে কমান্ডে অসদাচরণ করে।
ওভারভিউ
They matter because models increasingly learn from scraped, crowdsourced data that attackers can quietly contaminate.
গভীর ডুব
বিষাক্ত আক্রমণ দুটি বিস্তৃত লক্ষ্যে বিভক্ত। প্রাপ্যতা আক্রমণের লক্ষ্য হল ভুল লেবেলযুক্ত বা দূষিত উদাহরণগুলি ইনজেকশনের মাধ্যমে সামগ্রিক নির্ভুলতা হ্রাস করা। টার্গেটেড এবং ব্যাকডোর অ্যাটাকগুলি আরও লুকিয়ে থাকে: মডেলটি সাধারণ ইনপুটগুলিতে নিখুঁতভাবে পারফর্ম করে কিন্তু যখনই একটি লুকানো ট্রিগার প্রদর্শিত হয়, যেমন একটি ছোট পিক্সেল প্যাচ, একটি নির্দিষ্ট বাক্যাংশ বা একটি অদৃশ্য ওয়াটারমার্ক দেখা যায় তখনই এটি একটি আক্রমণকারী-নির্বাচিত আউটপুট তৈরি করে৷ ব্যাডনেটের কাজটি একটি স্টপ-সাইন ক্লাসিফায়ার দেখিয়েছে যেটি 'গতির সীমা' হিসাবে একটি স্টিকার-চিহ্নিত চিহ্ন পড়ে। আধুনিক সিস্টেমগুলি উন্মোচিত হয় কারণ তারা ওয়েব-স্কেল ডেটাতে প্রশিক্ষণ দেয়। গবেষকরা দেখিয়েছেন যে ডেটাসেট URL-এর একটি ক্ষুদ্র অংশের পিছনে মেয়াদোত্তীর্ণ ডোমেন কেনা কয়েকশ ডলারের জন্য জনপ্রিয় চিত্র ডেটাসেটগুলিকে বিষাক্ত করতে পারে। ভাষার মডেলগুলিকে বিষাক্ত ফাইন-টিউনিং ডেটা বা নির্দেশ উদাহরণের মাধ্যমেও ব্যাকডোর করা যেতে পারে।
প্রযুক্তিগত অন্তর্দৃষ্টি
একটি ক্লিন-লেবেল ব্যাকডোর বিশেষ করে বিপজ্জনক: বিষাক্ত নমুনাগুলি সঠিক লেবেল রাখে এবং মানব পর্যালোচকদের কাছে স্বাভাবিক দেখায়, তবুও তারা একটি ট্রিগার বৈশিষ্ট্য এমবেড করে যা মডেলটি একটি লক্ষ্য শ্রেণীর সাথে যুক্ত হতে শেখে। অনুমানে, ট্রিগার উপস্থাপন করা ভবিষ্যদ্বাণীকে ফ্লিপ করে যখন পরিষ্কার নির্ভুলতা বেশি থাকে, তাই স্ট্যান্ডার্ড বৈধতা কখনই এটি ধরে না। প্রতিরক্ষা সক্রিয়করণ ক্লাস্টারিং, বর্ণালী স্বাক্ষর, ট্রিগার পুনর্গঠন, এবং ডেটা প্রোভেনেন্স চেক অন্তর্ভুক্ত।
কৌশলগত প্রভাব
ঝুঁকি এবং নিরাপত্তা
বিপর্যয়কর এবং দৈনন্দিন এআই ক্ষতি উভয়ই নির্ভর করে কে ঝুঁকি বুঝতে পারে এবং কে কাজ করতে পারে।
সুস্পষ্ট সিদ্ধান্ত
জনসাধারণের এবং পেশাদার সাক্ষরতা গঠন করে যে শক্তিশালী নিরাপত্তা নীতি রাজনৈতিকভাবে সম্ভব কিনা।
হাইপের মাধ্যমে কাটা
স্পষ্ট ব্যাখ্যা হাইপ, ল্যাব পিআর, এবং অস্পষ্ট নীতিশাস্ত্র থিয়েটার দ্বারা ক্যাপচার হ্রাস করে।
ডেটা পয়জনিং এবং ব্যাকডোর অ্যাটাকের ভবিষ্যত
যেহেতু সাপ্লাই চেইনগুলি স্ক্র্যাপ করা ডেটা, পূর্ব-প্রশিক্ষিত ওজন এবং তৃতীয় পক্ষের ফাইন-টিউনিং এর উপর নির্ভর করে, তাই বিষক্রিয়া তত্ত্ব থেকে একটি বাস্তব সাপ্লাই-চেইন হুমকিতে স্থানান্তরিত হচ্ছে। ডেটাসেট সাইনিং এবং প্রোভেনেন্স স্ট্যান্ডার্ড, প্রত্যয়িত-দৃঢ়তা প্রশিক্ষণ যা নির্দিষ্ট সংখ্যক বিষাক্ত পয়েন্ট থেকে ক্ষতিকে আবদ্ধ করে এবং স্থাপনের আগে মডেলগুলির ক্রমাগত ব্যাকডোর স্ক্যানিংয়ের প্রত্যাশা করুন। MITER ATLAS-এর মতো নিয়ন্ত্রক এবং নিরাপত্তা কাঠামো বিষক্রিয়াকে প্রথম-শ্রেণীর মেশিন লার্নিং ঝুঁকি হিসেবে বিবেচনা করতে শুরু করেছে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ছোট স্টিকার ট্রিগার উপস্থিত থাকলে স্ব-চালিত গাড়িগুলির জন্য একটি দৃষ্টি মডেল গতি-সীমা চিহ্ন হিসাবে একটি স্টপ সাইনকে ভুল করে
মেয়াদোত্তীর্ণ ডোমেনগুলিকে হাইজ্যাক করে একটি সর্বজনীন ইমেজ ডেটাসেটকে সস্তায় বিষাক্ত করা যা এর চিত্র URLগুলির একটি ভগ্নাংশ হোস্ট করে
একটি কোড-কমপ্লিশন মডেল ব্যাকডোর করা যাতে একটি লুকানো প্রম্পট বাক্যাংশ এটিকে অনিরাপদ কোড ঢোকাতে সাহায্য করে
একটি স্প্যাম ফিল্টারের ক্রাউডসোর্সড ট্রেনিং ফিডব্যাককে দূষিত করা যাতে নির্দিষ্ট দূষিত ইমেলগুলি স্লিপ করে
ঝুঁকি এবং প্রহরী
সক্ষমতা যৌগিক অবস্থায় অস্তিত্বগত ঝুঁকিকে সাই-ফাই হিসাবে বিবেচনা করা।
উচ্চ স্বায়ত্তশাসনের অধীনে প্রান্তিককরণের সাথে বিভ্রান্তিকর পৃষ্ঠ পণ্য নিরাপত্তা।
অ-ইংরেজি এবং অ-বিশেষজ্ঞ শ্রোতাদের শুধুমাত্র নিম্ন-মানের উত্স সহ ত্যাগ করা।
বাস্তবায়ন রোডম্যাপ
পৃথক পণ্য ক্ষতি, অপব্যবহার, এবং ক্ষতি-অব-নিয়ন্ত্রণ/বিভ্রান্তির ঝুঁকি।
জিজ্ঞাসা করুন কি প্রমাণ সময়সীমা এবং তীব্রতা আপনার দৃষ্টিভঙ্গি পরিবর্তন করবে.
বিপণন দাবির চেয়ে প্রাথমিক উত্স এবং কংক্রিট ইভাল পছন্দ করুন।
একটি কর্ম পথ চিহ্নিত করুন: কর্মজীবন, নীতি, অর্থায়ন, বা দক্ষতা - শুধুমাত্র সচেতনতা নয়।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Poisoning and Backdoor Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
সিন্থেটিক ডেটা
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Data Poisoning and Backdoor Attacks?
ডেটা বিষক্রিয়া একটি মডেলকে তার প্রশিক্ষণের ডেটার সাথে টেম্পারিং করে দূষিত করে, এবং ব্যাকডোর অ্যাটাকগুলি একটি গোপন ট্রিগার লুকিয়ে রাখে যা মডেলটিকে কমান্ডে অসদাচরণ করে। তারা গুরুত্বপূর্ণ কারণ মডেলগুলি ক্রমবর্ধমানভাবে স্ক্র্যাপ করা, ক্রাউডসোর্সড ডেটা থেকে শিখেছে যা আক্রমণকারীরা শান্তভাবে দূষিত করতে পারে।
কি একটি সাধারণ প্রাপ্যতা বিষক্রিয়া আক্রমণ থেকে একটি ব্যাকডোর আক্রমণকে আলাদা করে?
ব্যাকডোর মডেলগুলি সাধারণত পরিষ্কার ইনপুটগুলিতে কাজ করে এবং লুকানো ট্রিগারটি উপস্থিত হলেই আক্রমণকারীর লক্ষ্য আউটপুট তৈরি করে৷
কেন ক্লিন-লেবেল ব্যাকডোর আক্রমণ সনাক্ত করা কঠিন?
কারণ বিষাক্ত উদাহরণগুলির সঠিক লেবেল রয়েছে এবং সাধারণ বলে মনে হচ্ছে, মানব পর্যালোচনা এবং মান যাচাইকরণের নির্ভুলতা তাদের পতাকাঙ্কিত করে না।
BadNets গবেষণা বিখ্যাতভাবে কী প্রদর্শন করেছে?
ব্যাডনেটস একটি ব্যাকডোর ট্রাফিক-সাইন ক্লাসিফায়ার দেখিয়েছে যেটি একটি ছোট স্টিকার দিয়ে চিহ্নিত স্টপ সাইনগুলিকে ভুলভাবে পড়ে।
কীভাবে গবেষকরা দেখিয়েছেন যে ওয়েব-স্কেল ডেটাসেটগুলি সস্তায় বিষাক্ত হতে পারে?
যেহেতু ডেটাসেটগুলি URL দ্বারা চিত্রগুলিকে উল্লেখ করে, তাই ল্যাপসড ডোমেন ক্রয় করা আক্রমণকারীদের অল্প খরচে সেই ছবিগুলিকে নিয়ন্ত্রণ করতে দেয়৷
এর মধ্যে কোনটি ব্যাকডোর আক্রমণের বিরুদ্ধে স্বীকৃত প্রতিরক্ষা?
ডিফেন্স অন্যান্য সনাক্তকরণ পদ্ধতির মধ্যে পরিষ্কার উদাহরণ থেকে বিষ পৃথক করতে অভ্যন্তরীণ সক্রিয়তা বিশ্লেষণ করে।