एआई प्रॉम्प्ट सुरक्षा

समस्या उपयोगकर्ता इनपुट, पुनर्प्राप्त दस्तावेज़ों, वेबपेजों, छवियों या टूल प्रतिक्रियाओं में उत्पन्न हो सकती है। बचाव को परिणामों को सीमित करना चाहिए और साथ ही संदिग्ध पाठ का पता लगाना चाहिए।

चाबी छीन लेना

• संसाधित सामग्री से निर्देशों को अलग करें।
• मॉडल से स्वतंत्र रूप से अनुमतियों को सीमित करें।
• इनपुट चैनलों में विश्वास सीमाओं का परीक्षण करें।

उपयोगकर्ता के अधिकृत कार्य को संसाधित की जा रही सामग्री से अलग करें। किसी दस्तावेज़ में वैध रूप से उसके विषय के हिस्से के रूप में निर्देश हो सकते हैं। उन शब्दों को सहायक के उपकरण, खाता पहुंच या प्रतिक्रिया नीति को स्वचालित रूप से नियंत्रित नहीं करना चाहिए। विशेषाधिकारों को संकीर्ण रखें। सारांश कार्य के लिए आम तौर पर संदेश भेजने के लिए अप्रतिबंधित फ़ाइल पहुंच या अनुमति की आवश्यकता नहीं होती है। एप्लिकेशन में उन सीमाओं को लागू करें ताकि एक मॉडल त्रुटि चुपचाप व्यापक क्षमता न बना सके। मूल अनुरोध के विरुद्ध परिणामी आउटपुट और कार्रवाइयों को मान्य करें। गंतव्य, प्रभावित रिकॉर्ड, प्रसारित किए जा रहे डेटा और आवश्यक अनुमोदन की जाँच करें। एक बाहरी पृष्ठ यह दावा करता है कि उपयोगकर्ता ने किसी चीज़ को मंजूरी दी है, वास्तविक उपयोगकर्ता निर्देश के बराबर नहीं है। प्रतिगमन मामले बनाएं जो अविश्वसनीय निर्देशों के स्थान और प्रारूप को बदलते हैं। नियंत्रित वातावरण में प्रत्यक्ष इनपुट, पुनर्प्राप्त मार्ग और उपकरण परिणामों का परीक्षण करें। समीक्षा करें कि क्या एप्लिकेशन पुनर्निर्देशन का विरोध करते हुए उपयोगी कार्य प्रदर्शन को संरक्षित करता है। एक फुलप्रूफ प्रॉम्प्ट-इंजेक्शन फ़िल्टर के दावों से बचें; स्तरित नियंत्रण और चल रहे परीक्षण अधिक विश्वसनीय हैं।

1. एक परीक्षण पृष्ठ का निर्माण करें जिसमें एक सामान्य नीति पैराग्राफ और एक वाक्य है जो सहायक को असंबंधित फ़ाइलें अपलोड करने के लिए कहता है।
2. सिर्फ़ नीति का सारांश मांगें. पुष्टि करें कि सारांश प्रासंगिक तथ्यों का उपयोग करता है और किसी भी अपलोड टूल को कॉल नहीं किया जाता है.
3. एक उद्धृत ब्लॉक में निर्देश के साथ और एक उपकरण परिणाम में एक ही विश्वास सीमा का परीक्षण करने के लिए प्रारूपों में दोहराएं।

यह बाध्य रक्षात्मक अभ्यास वास्तविक निजी फाइलों का उपयोग किए बिना कार्य पालन की पुष्टि करता है।