डेटा विषाक्तता और पिछले दरवाजे से हमले
डेटा पॉइज़निंग एक मॉडल को उसके प्रशिक्षण डेटा के साथ छेड़छाड़ करके भ्रष्ट कर देता है, और पिछले दरवाजे के हमलों में एक गुप्त ट्रिगर छिपा होता है जो मॉडल को कमांड पर गलत व्यवहार करने पर मजबूर करता है।
सिंहावलोकन
They matter because models increasingly learn from scraped, crowdsourced data that attackers can quietly contaminate.
गहरा गोता
ज़हर देने वाले हमले दो व्यापक लक्ष्यों में विभाजित हो गए। उपलब्धता हमलों का उद्देश्य गलत लेबल वाले या दूषित उदाहरण पेश करके समग्र सटीकता को कम करना है। लक्षित और पिछले दरवाजे के हमले अधिक डरपोक होते हैं: मॉडल सामान्य इनपुट पर पूरी तरह से प्रदर्शन करता है, लेकिन जब भी कोई छिपा हुआ ट्रिगर दिखाई देता है, जैसे कि एक छोटा पिक्सेल पैच, एक विशिष्ट वाक्यांश, या एक अदृश्य वॉटरमार्क, एक हमलावर द्वारा चुने गए आउटपुट का उत्पादन करता है। बैडनेट्स कार्य ने एक स्टॉप-साइन क्लासिफायरियर दिखाया जो स्टिकर-चिह्नित चिह्न को 'गति सीमा' के रूप में पढ़ता है। आधुनिक सिस्टम उजागर हो गए हैं क्योंकि वे वेब-स्केल डेटा पर प्रशिक्षित होते हैं। शोधकर्ताओं ने प्रदर्शित किया कि डेटासेट यूआरएल के एक छोटे से हिस्से के पीछे समाप्त डोमेन खरीदने से कुछ सौ डॉलर के लिए लोकप्रिय छवि डेटासेट को जहर मिल सकता है। भाषा मॉडल को जहरीले फाइन-ट्यूनिंग डेटा या निर्देश उदाहरणों के माध्यम से भी पिछले दरवाजे से तैयार किया जा सकता है।
तकनीकी अंतर्दृष्टि
एक क्लीन-लेबल बैकडोर विशेष रूप से खतरनाक है: जहर वाले नमूने सही लेबल रखते हैं और मानव समीक्षकों के लिए सामान्य दिखते हैं, फिर भी वे एक ट्रिगर सुविधा को एम्बेड करते हैं जिससे मॉडल लक्ष्य वर्ग के साथ जुड़ना सीखता है। अनुमान के समय, ट्रिगर प्रस्तुत करने से भविष्यवाणी पलट जाती है जबकि स्वच्छ सटीकता उच्च रहती है, इसलिए मानक सत्यापन इसे कभी नहीं पकड़ पाता है। बचाव में सक्रियण क्लस्टरिंग, वर्णक्रमीय हस्ताक्षर, ट्रिगर पुनर्निर्माण और डेटा उद्गम जांच शामिल हैं।
सामरिक प्रभाव
जोखिम और सुरक्षा
विनाशकारी और रोजमर्रा के एआई नुकसान दोनों इस बात पर निर्भर करते हैं कि जोखिमों को कौन समझता है और कौन कार्रवाई कर सकता है।
स्पष्ट निर्णय
सार्वजनिक और व्यावसायिक साक्षरता यह निर्धारित करती है कि मजबूत सुरक्षा नीति राजनीतिक रूप से संभव है या नहीं।
प्रचार के माध्यम से काटना
स्पष्ट स्पष्टीकरण प्रचार, लैब पीआर और अस्पष्ट नैतिकता थिएटर द्वारा कब्जा कम कर देते हैं।
डेटा विषाक्तता और पिछले दरवाजे से हमलों का भविष्य
चूंकि आपूर्ति श्रृंखलाएं स्क्रैप किए गए डेटा, पूर्व-प्रशिक्षित भार और तीसरे पक्ष की फाइन-ट्यूनिंग पर निर्भर करती हैं, इसलिए विषाक्तता सिद्धांत से वास्तविक आपूर्ति-श्रृंखला खतरे में बदल रही है। डेटासेट पर हस्ताक्षर और उद्गम मानकों, प्रमाणित-मजबूती प्रशिक्षण की अपेक्षा करें जो जहर वाले बिंदुओं की एक निश्चित संख्या से होने वाले नुकसान को सीमित करता है, और तैनाती से पहले मॉडलों की निरंतर बैकडोर स्कैनिंग। MITER ATLAS जैसे नियामक और सुरक्षा ढाँचे विषाक्तता को प्रथम श्रेणी के मशीन लर्निंग जोखिम के रूप में मानने लगे हैं।
वास्तविक विश्व कार्यान्वयन
सेल्फ-ड्राइविंग कारों के लिए एक विज़न मॉडल, एक छोटा स्टिकर ट्रिगर मौजूद होने पर स्टॉप साइन को गति-सीमा संकेत के रूप में गलत तरीके से पढ़ना
सार्वजनिक छवि डेटासेट में सस्ते में जहर घोलना, समाप्त हो चुके डोमेन को हाईजैक करना जो इसके छवि यूआरएल के एक अंश को होस्ट करते हैं
एक कोड-समापन मॉडल को पिछले दरवाजे से छिपाना ताकि एक छिपा हुआ प्रॉम्प्ट वाक्यांश इसे असुरक्षित कोड डाल सके
स्पैम फ़िल्टर के क्राउडसोर्स्ड प्रशिक्षण फ़ीडबैक को दूषित करना ताकि विशिष्ट दुर्भावनापूर्ण ईमेल निकल जाएँ
जोखिम और रेलिंग
अस्तित्वगत जोखिम को विज्ञान-कल्पना के रूप में मानते हुए क्षमता को मिश्रित किया जाता है।
उच्च स्वायत्तता के तहत संरेखण के साथ भ्रमित करने वाली सतह उत्पाद सुरक्षा।
गैर-अंग्रेज़ी और गैर-विशेषज्ञ दर्शकों को केवल निम्न-गुणवत्ता वाले स्रोतों के साथ छोड़ना।
कार्यान्वयन रोडमैप
उत्पाद के नुकसान, दुरुपयोग और नियंत्रण की हानि/गलत संरेखण जोखिमों को अलग करें।
पूछें कि कौन से सबूत समयसीमा और गंभीरता पर आपके दृष्टिकोण को बदल देंगे।
विपणन दावों की तुलना में प्राथमिक स्रोतों और ठोस मूल्यांकन को प्राथमिकता दें।
एक कार्य पथ की पहचान करें: कैरियर, नीति, वित्त पोषण, या कौशल - केवल जागरूकता नहीं।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Poisoning and Backdoor Attacks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
सिंथेटिक डेटा
अक्सर पूछे जाने वाले प्रश्नों
What is Data Poisoning and Backdoor Attacks?
डेटा पॉइज़निंग एक मॉडल को उसके प्रशिक्षण डेटा के साथ छेड़छाड़ करके भ्रष्ट कर देता है, और पिछले दरवाजे के हमलों में एक गुप्त ट्रिगर छिपा होता है जो मॉडल को कमांड पर गलत व्यवहार करने पर मजबूर करता है। वे मायने रखते हैं क्योंकि मॉडल तेजी से स्क्रैप किए गए, क्राउडसोर्स किए गए डेटा से सीखते हैं जिसे हमलावर चुपचाप दूषित कर सकते हैं।
सामान्य उपलब्धता विषाक्तता हमले से पिछले दरवाजे के हमले में क्या अंतर है?
पिछले दरवाजे वाले मॉडल सामान्य रूप से साफ इनपुट पर कार्य करते हैं और हमलावर के लक्ष्य आउटपुट को केवल तभी उत्पन्न करते हैं जब छिपा हुआ ट्रिगर दिखाई देता है।
क्लीन-लेबल पिछले दरवाजे के हमलों का पता लगाना कठिन क्यों है?
चूँकि ज़हरीले उदाहरणों पर सही लेबल हैं और वे सामान्य दिखाई देते हैं, मानवीय समीक्षा और मानक सत्यापन सटीकता उन्हें चिह्नित नहीं करती है।
बैडनेट्स अनुसंधान ने प्रसिद्ध रूप से क्या प्रदर्शित किया?
बैडनेट्स ने एक पिछले दरवाजे वाला ट्रैफिक-साइन क्लासिफायरियर दिखाया जो एक छोटे स्टिकर के साथ चिह्नित स्टॉप संकेतों को गलत तरीके से पढ़ता है।
शोधकर्ताओं ने कैसे दिखाया कि वेब-स्केल डेटासेट को सस्ते में जहर दिया जा सकता है?
क्योंकि डेटासेट यूआरएल द्वारा छवियों को संदर्भित करते हैं, व्यपगत डोमेन खरीदने से हमलावरों को छोटी लागत के लिए उन छवियों को नियंत्रित करने की सुविधा मिलती है।
इनमें से कौन सा पिछले दरवाजे के हमलों के खिलाफ एक मान्यता प्राप्त बचाव है?
बचाव अन्य पहचान विधियों के अलावा, स्वच्छ उदाहरणों से जहर को अलग करने के लिए आंतरिक सक्रियणों का विश्लेषण करते हैं।