तकनीकी गाइड

एआई प्रॉम्प्ट सुरक्षा

प्रॉम्प्ट सुरक्षा पते एक भाषा-मॉडल एप्लिकेशन को अविश्वसनीय सामग्री को निर्देशों के रूप में मानने या उस जानकारी का खुलासा करने का प्रयास करता है जिसे इसे सुरक्षित करना चाहिए।

इस गाइड को सुनेंएआई-नैरेटेड · ~2 min

इस पृष्ठ पर2 मिनट लाल
  1. सिंहावलोकन
  2. चाबी छीन लेना
  3. गहरा गोता
  4. दस्तावेज़ के अंदर एक पुनर्प्राप्त निर्देश रखें
  5. वास्तविक विश्व कार्यान्वयन
  6. इसे व्यवहार में लाना
  7. स्रोत और आगे पढ़ना
  8. अन्वेषण करते रहें
  9. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

समस्या उपयोगकर्ता इनपुट, पुनर्प्राप्त दस्तावेज़ों, वेबपेजों, छवियों या टूल प्रतिक्रियाओं में उत्पन्न हो सकती है। बचाव को परिणामों को सीमित करना चाहिए और साथ ही संदिग्ध पाठ का पता लगाना चाहिए।

चाबी छीन लेना

  1. संसाधित सामग्री से निर्देशों को अलग करें।
  2. मॉडल से स्वतंत्र रूप से अनुमतियों को सीमित करें।
  3. इनपुट चैनलों में विश्वास सीमाओं का परीक्षण करें।

गहरा गोता

उपयोगकर्ता के अधिकृत कार्य को संसाधित की जा रही सामग्री से अलग करें। किसी दस्तावेज़ में वैध रूप से उसके विषय के हिस्से के रूप में निर्देश हो सकते हैं। उन शब्दों को सहायक के उपकरण, खाता पहुंच या प्रतिक्रिया नीति को स्वचालित रूप से नियंत्रित नहीं करना चाहिए। विशेषाधिकारों को संकीर्ण रखें। सारांश कार्य के लिए आम तौर पर संदेश भेजने के लिए अप्रतिबंधित फ़ाइल पहुंच या अनुमति की आवश्यकता नहीं होती है। एप्लिकेशन में उन सीमाओं को लागू करें ताकि एक मॉडल त्रुटि चुपचाप व्यापक क्षमता न बना सके। मूल अनुरोध के विरुद्ध परिणामी आउटपुट और कार्रवाइयों को मान्य करें। गंतव्य, प्रभावित रिकॉर्ड, प्रसारित किए जा रहे डेटा और आवश्यक अनुमोदन की जाँच करें। एक बाहरी पृष्ठ यह दावा करता है कि उपयोगकर्ता ने किसी चीज़ को मंजूरी दी है, वास्तविक उपयोगकर्ता निर्देश के बराबर नहीं है। प्रतिगमन मामले बनाएं जो अविश्वसनीय निर्देशों के स्थान और प्रारूप को बदलते हैं। नियंत्रित वातावरण में प्रत्यक्ष इनपुट, पुनर्प्राप्त मार्ग और उपकरण परिणामों का परीक्षण करें। समीक्षा करें कि क्या एप्लिकेशन पुनर्निर्देशन का विरोध करते हुए उपयोगी कार्य प्रदर्शन को संरक्षित करता है। एक फुलप्रूफ प्रॉम्प्ट-इंजेक्शन फ़िल्टर के दावों से बचें; स्तरित नियंत्रण और चल रहे परीक्षण अधिक विश्वसनीय हैं।

04काम किया उदाहरण

दस्तावेज़ के अंदर एक पुनर्प्राप्त निर्देश रखें

  1. एक परीक्षण पृष्ठ का निर्माण करें जिसमें एक सामान्य नीति पैराग्राफ और एक वाक्य है जो सहायक को असंबंधित फ़ाइलें अपलोड करने के लिए कहता है।

  2. सिर्फ़ नीति का सारांश मांगें. पुष्टि करें कि सारांश प्रासंगिक तथ्यों का उपयोग करता है और किसी भी अपलोड टूल को कॉल नहीं किया जाता है.

  3. एक उद्धृत ब्लॉक में निर्देश के साथ और एक उपकरण परिणाम में एक ही विश्वास सीमा का परीक्षण करने के लिए प्रारूपों में दोहराएं।

यह क्या दिखाता है

यह बाध्य रक्षात्मक अभ्यास वास्तविक निजी फाइलों का उपयोग किए बिना कार्य पालन की पुष्टि करता है।

वास्तविक विश्व कार्यान्वयन

एक दस्तावेज़ को संक्षेप में प्रस्तुत करें जिसमें इसे निष्पादित किए बिना एक निर्देश-जैसा मार्ग शामिल है।

उपयोगकर्ता के मूल गंतव्य और उद्देश्य के विरुद्ध एक आउटगोइंग टूल कार्रवाई की जाँच करें।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

स्रोत और आगे पढ़ना

  1. OWASPशीघ्र इंजेक्शन जोखिम और शमन

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the AI Prompt Security quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

क्या एक वाक्यांश पर प्रतिबंध लगाकर शीघ्र इंजेक्शन को हल किया जा सकता है?

नहीं। अंतर्निहित समस्या यह है कि क्या अविश्वसनीय सामग्री व्यवहार को पुनर्निर्देशित कर सकती है। हमले कई वाक्यांशों और प्रारूपों का उपयोग कर सकते हैं।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →