प्रतिकूल उदाहरण और मजबूती

प्रतिकूल उदाहरण छोटे, अक्सर अगोचर परिवर्तनों से परेशान इनपुट हैं जो एक मॉडल को आश्वस्त, गलत भविष्यवाणियां करने का कारण बनते हैं। मजबूती उनके खिलाफ बचाव के लिए समर्पित क्षेत्र है, और यह मशीन और मानवीय धारणा के बीच गहरे अंतर को प्रकट करता है।

प्रतिकूल उदाहरणों में छोटी, सावधानी से तैयार की गई गड़बड़ी शामिल होती है जिसे मनुष्य मुश्किल से नोटिस करते हैं लेकिन यह मॉडल को उच्च-आत्मविश्वास वाली त्रुटियों में बदल देता है।

व्हाइट-बॉक्स हमलावर मॉडल को जानते हैं और इसके ग्रेडिएंट्स का उपयोग कर सकते हैं; ब्लैक-बॉक्स हमलावर केवल इनपुट और आउटपुट देखते हैं।

प्रतिकूल प्रशिक्षण सबसे खराब स्थिति वाले परेशान इनपुट के साथ सीखने को बढ़ाता है, जिसे न्यूनतम-अधिकतम अनुकूलन के रूप में तैयार किया जाता है, और यह सबसे मजबूत विश्वसनीय बचाव है, हालांकि यह स्वच्छ सटीकता को कम कर सकता है।

क्योंकि प्रतिकूल उदाहरण सभी मॉडलों में स्थानांतरित होते हैं, एक हमलावर उन्हें सरोगेट मॉडल पर तैयार कर सकता है और ऐसे लक्ष्य पर सफलतापूर्वक हमला कर सकता है जिसका वे निरीक्षण नहीं कर सकते।

जेलब्रेक और प्रॉम्प्ट इंजेक्शन तैयार किए गए इनपुट हैं जो एलएलएम को असुरक्षित या अनपेक्षित व्यवहार में हेरफेर करते हैं, दृष्टि में प्रतिकूल हमलों के समानांतर।