समाज गाइड
एआई सुरक्षा
एआई सुरक्षा मॉडल, डेटा, टूल और आसपास की सेवाओं को अनधिकृत पहुंच या हेरफेर से बचाती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
इसमें सामान्य सॉफ़्टवेयर सुरक्षा और खतरे शामिल हैं जो सीखने या मॉडल व्यवहार को लक्षित करते हैं। एक सुरक्षित डिज़ाइन वास्तविक एप्लिकेशन की संपत्तियों, विरोधियों और विश्वास सीमाओं से शुरू होता है।
चाबी छीन लेना
- पूर्ण एप्लिकेशन को धमकी-मॉडल करें।
- मॉडल के बाहर अनुमतियाँ लागू करें।
- सिस्टम परिवर्तनों के दौरान नियंत्रणों का पुनः परीक्षण करें।
गहरा गोता
पहचानें कि किस चीज़ को सुरक्षा की आवश्यकता है: निजी इनपुट, प्रशिक्षण डेटा, मॉडल कलाकृतियाँ, क्रेडेंशियल, कनेक्टेड खाते और बाहरी क्रियाएं। रिकॉर्ड करें कि प्रत्येक इनपुट को कौन प्रभावित कर सकता है और विफलता से हमलावर को क्या लाभ हो सकता है। एक सार्वजनिक चैटबॉट और लेखन पहुंच वाले एक आंतरिक एजेंट के पास अलग-अलग खतरे के मॉडल होते हैं। खतरे विभिन्न चरणों को प्रभावित कर सकते हैं। ज़हरीली प्रशिक्षण सामग्री सीखे गए व्यवहार को बदल सकती है; प्रतिकूल इनपुट भविष्यवाणियों में हेरफेर कर सकते हैं; अविश्वसनीय पुनर्प्राप्त सामग्री टूल-उपयोग करने वाले एप्लिकेशन को पुनर्निर्देशित कर सकती है। उचित प्रबंधन के बिना डेटाबेस क्वेरी, वेबपेज या कमांड में डालने पर मॉडल आउटपुट खतरनाक भी हो सकता है। सॉफ़्टवेयर सीमा पर नियंत्रण लागू करें. कोड में प्राधिकरण लागू करें, जहां संभव हो, रहस्यों को मॉडल-दृश्यमान संदर्भ से बाहर रखें, टूल के दायरे को प्रतिबंधित करें, और उपयोग से पहले आउटपुट को मान्य करें। किसी मॉडल को सुरक्षित रूप से व्यवहार करने के लिए कहने वाला संकेत खाता अलगाव या अनुमति जांच को प्रतिस्थापित नहीं कर सकता है। एक अधिकृत वातावरण में प्रतिनिधि विफलता पथ का परीक्षण करें और एक घटना प्रक्रिया को बनाए रखें। अनावश्यक संवेदनशील सामग्री एकत्र किए बिना जांच करने के लिए पर्याप्त जानकारी लॉग करें। मॉडल, पुनर्प्राप्ति स्रोतों, उपकरणों और निर्भरताओं में परिवर्तन के बाद नियंत्रणों का मूल्यांकन करें। अवशिष्ट जोखिम का ईमानदारी से वर्णन करें; कोई भी फ़िल्टर पूर्ण सुरक्षा स्थापित नहीं करता है.
04काम किया उदाहरण
सुरक्षा सीमा का पता लगाएँ
कल्पना कीजिए कि एक सहायक साइन-इन किए हुए उपयोगकर्ता के लिए एक निजी दस्तावेज़ स्टोर खोज रहा है।
दस्तावेज़ों के मॉडल संदर्भ में प्रवेश करने से पहले पुनर्प्राप्ति सेवा में उपयोगकर्ता के एक्सेस फ़िल्टर को लागू करें।
किसी भिन्न खाते से संबंधित दस्तावेज़ के साथ परीक्षण करें और सत्यापित करें कि परिणाम में न तो इसकी सामग्री और न ही पहचानने योग्य मेटाडेटा दिखाई देता है।
यह क्या दिखाता है
यह रक्षात्मक, काल्पनिक परीक्षण निर्देशों का पालन करने की मॉडल की इच्छा से स्वतंत्र रूप से प्राधिकरण की जांच करता है।
वास्तविक विश्व कार्यान्वयन
जांचें कि एक खाता दूसरे खाते के दस्तावेज़ पुनर्प्राप्त नहीं कर सकता है।
डेटाबेस ऑपरेशन में उपयोग करने से पहले जेनरेट किए गए फ़ील्ड को मान्य करें।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- जोखिम और सुरक्षा. विनाशकारी और रोजमर्रा के एआई नुकसान दोनों इस बात पर निर्भर करते हैं कि जोखिमों को कौन समझता है और कौन कार्रवाई कर सकता है।
- स्पष्ट निर्णय. सार्वजनिक और व्यावसायिक साक्षरता यह निर्धारित करती है कि मजबूत सुरक्षा नीति राजनीतिक रूप से संभव है या नहीं।
- प्रचार के माध्यम से काटना. स्पष्ट स्पष्टीकरण प्रचार, लैब पीआर और अस्पष्ट नैतिकता थिएटर द्वारा कब्जा कम कर देते हैं।
का ध्यान रखें
- अस्तित्वगत जोखिम को विज्ञान-कल्पना के रूप में मानते हुए क्षमता को मिश्रित किया जाता है।
- उच्च स्वायत्तता के तहत संरेखण के साथ भ्रमित करने वाली सतह उत्पाद सुरक्षा।
- गैर-अंग्रेज़ी और गैर-विशेषज्ञ दर्शकों को केवल निम्न-गुणवत्ता वाले स्रोतों के साथ छोड़ना।
अगले चरण
- उत्पाद के नुकसान, दुरुपयोग और नियंत्रण की हानि/गलत संरेखण जोखिमों को अलग करें।
- पूछें कि कौन से सबूत समयसीमा और गंभीरता पर आपके दृष्टिकोण को बदल देंगे।
- विपणन दावों की तुलना में प्राथमिक स्रोतों और ठोस मूल्यांकन को प्राथमिकता दें।
- एक कार्य पथ की पहचान करें: कैरियर, नीति, वित्त पोषण, या कौशल - केवल जागरूकता नहीं।
स्रोत और आगे पढ़ना
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the AI Security quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
क्या एक मजबूत प्रणाली किसी सहायक को सुरक्षित करने के लिए पर्याप्त तत्पर है?
नहीं, प्रमाणीकरण, प्राधिकरण, इनपुट और आउटपुट हैंडलिंग, टूल सीमाएं, और घटना प्रतिक्रिया एप्लिकेशन के आवश्यक भाग बने हुए हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं