ڈیٹا پوائزننگ اور بیک ڈور اٹیک
ڈیٹا پوائزننگ ماڈل کو اس کے تربیتی ڈیٹا کے ساتھ چھیڑ چھاڑ کر کے خراب کر دیتی ہے، اور بیک ڈور حملے ایک خفیہ ٹرگر کو چھپاتے ہیں جو ماڈل کو کمانڈ پر غلط برتاؤ کرنے پر مجبور کرتا ہے۔
جائزہ
They matter because models increasingly learn from scraped, crowdsourced data that attackers can quietly contaminate.
گہرا غوطہ
زہریلے حملے دو وسیع مقاصد میں تقسیم ہوتے ہیں۔ دستیابی کے حملوں کا مقصد غلط لیبل والی یا کرپٹ مثالیں لگا کر مجموعی درستگی کو کم کرنا ہے۔ ٹارگٹڈ اور بیک ڈور حملے زیادہ ڈرپوک ہوتے ہیں: ماڈل عام ان پٹس پر بہترین کارکردگی کا مظاہرہ کرتا ہے لیکن جب بھی کوئی پوشیدہ ٹرگر ظاہر ہوتا ہے، جیسے کہ ایک چھوٹا پکسل پیچ، ایک مخصوص جملہ، یا ایک پوشیدہ واٹر مارک ظاہر ہوتا ہے تو یہ ایک حملہ آور کا منتخب کردہ آؤٹ پٹ تیار کرتا ہے۔ BadNets کے کام نے ایک اسٹاپ سائن کلاسیفائر دکھایا جو اسٹیکر کے نشان والے نشان کو 'رفتار کی حد' کے طور پر پڑھتا ہے۔ جدید نظام بے نقاب ہیں کیونکہ وہ ویب پیمانے کے ڈیٹا پر تربیت دیتے ہیں۔ محققین نے یہ ظاہر کیا کہ ڈیٹاسیٹ یو آر ایل کے ایک چھوٹے سے حصے کے پیچھے میعاد ختم ہونے والے ڈومینز خریدنا چند سو ڈالر کے لیے مقبول تصویری ڈیٹاسیٹس کو زہر دے سکتا ہے۔ زبان کے ماڈلز کو زہریلے فائن ٹیوننگ ڈیٹا یا ہدایات کی مثالوں کے ذریعے بھی بیک ڈور کیا جا سکتا ہے۔
تکنیکی بصیرت
کلین لیبل والا بیک ڈور خاص طور پر خطرناک ہے: زہریلے نمونے درست لیبل رکھتے ہیں اور انسانی جائزہ لینے والوں کے لیے نارمل نظر آتے ہیں، پھر بھی وہ ایک ٹرگر فیچر کو سرایت کرتے ہیں جو ماڈل ٹارگٹ کلاس سے وابستہ ہونا سیکھتا ہے۔ اندازہ کے مطابق، ٹرگر پیش کرنا پیشین گوئی کو پلٹ دیتا ہے جبکہ صاف درستگی زیادہ رہتی ہے، لہذا معیاری توثیق اسے کبھی نہیں پکڑتی۔ دفاع میں ایکٹیویشن کلسٹرنگ، سپیکٹرل دستخط، ٹرگر ری کنسٹرکشن، اور ڈیٹا پرووینس چیکس شامل ہیں۔
اسٹریٹجک اثر
خطرہ اور حفاظت
تباہ کن اور روزمرہ کے AI نقصانات دونوں کا انحصار اس بات پر ہے کہ کون خطرات کو سمجھتا ہے اور کون عمل کر سکتا ہے۔
واضح فیصلے
عوامی اور پیشہ ورانہ خواندگی یہ تشکیل دیتی ہے کہ آیا مضبوط حفاظتی پالیسی سیاسی طور پر ممکن ہے۔
ہائپ کے ذریعے کاٹنا
واضح وضاحتیں ہائپ، لیب پی آر، اور مبہم اخلاقیات تھیٹر کے ذریعے کیپچر کو کم کرتی ہیں۔
ڈیٹا پوائزننگ اور بیک ڈور اٹیک کا مستقبل
چونکہ سپلائی چینز سکریپڈ ڈیٹا، پہلے سے تربیت یافتہ وزن، اور تھرڈ پارٹی فائن ٹیوننگ پر انحصار کرتی ہیں، زہر نظریہ سے حقیقی سپلائی چین کے خطرے میں بدل رہا ہے۔ ڈیٹا سیٹ پر دستخط کرنے اور پیش کرنے کے معیارات، تصدیق شدہ مضبوطی کی تربیت کی توقع کریں جو زہریلے پوائنٹس کی ایک مقررہ تعداد سے ہونے والے نقصان کو محدود کرتی ہے، اور تعیناتی سے پہلے ماڈلز کی مسلسل بیک ڈور اسکیننگ۔ ریگولیٹرز اور سیکیورٹی فریم ورک جیسے MITER ATLAS زہر کو فرسٹ کلاس مشین لرننگ رسک سمجھنا شروع کر رہے ہیں۔
حقیقی دنیا کا نفاذ
جب ایک چھوٹا اسٹیکر ٹرگر موجود ہو تو سیلف ڈرائیونگ کاروں کے لیے ایک وژن ماڈل، رفتار کی حد کے نشان کے طور پر سٹاپ کے نشان کو غلط پڑھ رہا ہے
ایک عوامی تصویری ڈیٹاسیٹ کو سستے طریقے سے ہائی جیک کر کے ایکسپائر شدہ ڈومینز جو اس کے تصویری URLs کے ایک حصے کی میزبانی کرتے ہیں زہر آلود کرنا
کوڈ کی تکمیل کے ماڈل کو بیک ڈور کرنا تاکہ ایک پوشیدہ فوری جملہ اسے غیر محفوظ کوڈ داخل کر دے
اسپام فلٹر کے کراؤڈ سورس ٹریننگ فیڈ بیک کو خراب کرنا تاکہ مخصوص بدنیتی پر مبنی ای میلز پھسل جائیں۔
خطرات اور گارڈریلز
قابلیت کے مرکبات کے دوران وجودی خطرے کا سائنس فائی کے طور پر علاج کرنا۔
اعلی خود مختاری کے تحت سیدھ کے ساتھ سطح کی مصنوعات کی حفاظت کو الجھا دینا۔
غیر انگریزی اور غیر ماہر سامعین کو صرف کم معیار کے ذرائع کے ساتھ چھوڑنا۔
نفاذ کا روڈ میپ
الگ الگ مصنوعات کے نقصانات، غلط استعمال، اور نقصان کے کنٹرول / غلط خطوط کے خطرات۔
پوچھیں کہ کون سے ثبوت ٹائم لائنز اور شدت کے بارے میں آپ کے نظریہ کو بدل دیں گے۔
مارکیٹنگ کے دعووں پر بنیادی ذرائع اور ٹھوس ایولز کو ترجیح دیں۔
ایک عمل کے راستے کی شناخت کریں: کیریئر، پالیسی، فنڈنگ، یا مہارتیں - نہ صرف آگاہی۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Poisoning and Backdoor Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
مصنوعی ڈیٹا
اکثر پوچھے گئے سوالات
What is Data Poisoning and Backdoor Attacks?
ڈیٹا پوائزننگ ماڈل کو اس کے تربیتی ڈیٹا کے ساتھ چھیڑ چھاڑ کر کے خراب کر دیتی ہے، اور بیک ڈور حملے ایک خفیہ ٹرگر کو چھپاتے ہیں جو ماڈل کو کمانڈ پر غلط برتاؤ کرنے پر مجبور کرتا ہے۔ ان کی اہمیت ہے کیونکہ ماڈل تیزی سے سکریپڈ، کراؤڈ سورس ڈیٹا سے سیکھتے ہیں جسے حملہ آور خاموشی سے آلودہ کر سکتے ہیں۔
کیا چیز بیک ڈور حملے کو عام دستیابی کے زہر کے حملے سے ممتاز کرتی ہے؟
بیک ڈور ماڈل عام طور پر صاف ان پٹس پر کام کرتے ہیں اور حملہ آور کا ہدف آؤٹ پٹ صرف اس وقت تیار کرتے ہیں جب پوشیدہ ٹرگر ظاہر ہوتا ہے۔
کلین لیبل بیک ڈور حملوں کا پتہ لگانا مشکل کیوں ہے؟
چونکہ زہر آلود مثالوں میں درست لیبل ہوتے ہیں اور وہ عام دکھائی دیتے ہیں، انسانی جائزہ اور معیاری توثیق کی درستگی ان پر نشان نہیں لگاتی۔
BadNets تحقیق نے مشہور طور پر کیا مظاہرہ کیا؟
BadNets نے ایک بیک ڈور ٹریفک سائن کلاسیفائر دکھایا جو ایک چھوٹے اسٹیکر سے نشان زد سٹاپ کے نشانات کو غلط پڑھتا ہے۔
محققین نے کیسے دکھایا کہ ویب پیمانے کے ڈیٹاسیٹس کو سستے میں زہر دیا جا سکتا ہے؟
چونکہ ڈیٹاسیٹس URL کے ذریعے تصاویر کا حوالہ دیتے ہیں، اس لیے ختم شدہ ڈومینز کی خریداری حملہ آوروں کو ان تصاویر کو تھوڑی قیمت پر کنٹرول کرنے دیتی ہے۔
ان میں سے کون سا بیک ڈور حملوں کے خلاف تسلیم شدہ دفاع ہے؟
ڈیفنسز اندرونی ایکٹیویشنز کا تجزیہ کرتے ہیں تاکہ پتہ لگانے کے دیگر طریقوں کے درمیان زہر کو صاف مثالوں سے الگ کیا جا سکے۔