الدليل الفني
الأمن الفوري لمنظمة العفو الدولية
تحاول عناوين الأمان السريعة جعل تطبيق نموذج اللغة يتعامل مع المحتوى غير الموثوق به كتعليمات أو يكشف عن معلومات يجب أن يحميها.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
يمكن أن تنشأ المشكلة في إدخال المستخدم أو المستندات المستردة أو صفحات الويب أو الصور أو استجابات الأداة. يجب أن تحد الدفاعات من العواقب وكذلك تكتشف النص المشبوه.
النقاط الرئيسية
- تمييز التعليمات عن المحتوى المعالج.
- الحد من الأذونات بشكل مستقل عن النموذج.
- اختبار حدود الثقة عبر قنوات الإدخال.
الغوص العميق
افصل المهمة المصرح بها للمستخدم عن المحتوى الذي تتم معالجته. قد يحتوي المستند بشكل قانوني على تعليمات كجزء من موضوعه. يجب ألا تتحكم هذه الكلمات تلقائيًا في أدوات المساعد أو الوصول إلى الحساب أو سياسة الاستجابة. اجعل الامتيازات ضيقة. لا تتطلب مهمة التلخيص عمومًا وصولاً غير مقيد إلى الملفات أو إذنًا لإرسال الرسائل. قم بفرض هذه الحدود في التطبيق حتى لا يؤدي خطأ النموذج إلى إنشاء قدرة أوسع بصمت. التحقق من صحة المخرجات والإجراءات التبعية مقابل الطلب الأصلي. تحقق من الوجهة والسجلات المتأثرة والبيانات التي يتم إرسالها والموافقة المطلوبة. الصفحة الخارجية التي تدعي أن المستخدم وافق على شيء ما لا تعادل تعليمات المستخدم الفعلية. قم ببناء حالات الانحدار التي تغير موقع وتنسيق التعليمات غير الموثوق بها. اختبار الإدخال المباشر، والممرات المستردة، ونتائج الأداة في بيئة خاضعة للرقابة. راجع ما إذا كان التطبيق يحافظ على أداء المهام المفيد أثناء مقاومة إعادة التوجيه. تجنب الادعاءات بوجود مرشح مضمون للحقن السريع؛ تعتبر الضوابط ذات الطبقات والاختبارات المستمرة أكثر مصداقية.
04عملت المثال
احتفظ بالتعليمات المستردة داخل المستند
أنشئ صفحة اختبار تحتوي على فقرة سياسة عادية وجملة تطلب من المساعد تحميل ملفات غير ذات صلة.
اسأل فقط عن ملخص السياسة. تأكد من أن الملخص يستخدم الحقائق ذات الصلة ومن عدم استدعاء أي أداة تحميل.
كرر ذلك مع التعليمات الموجودة في الكتلة المقتبسة وفي نتيجة الأداة لاختبار نفس حدود الثقة عبر التنسيقات.
ما يظهر
يتحقق هذا التمرين الدفاعي المحدود من الالتزام بالمهمة دون استخدام ملفات خاصة حقيقية.
التنفيذ في العالم الحقيقي
تلخيص مستند يحتوي على مقطع يشبه التعليمات دون تنفيذه.
تحقق من إجراء الأداة الصادرة مقابل الوجهة والغرض الأصليين للمستخدم.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
المصادر ومزيد من القراءة
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the AI Prompt Security quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
هل يمكن حل الحقنة السريعة بمنع عبارة واحدة؟
لا. المشكلة الأساسية هي ما إذا كان المحتوى غير الموثوق به يمكنه إعادة توجيه السلوك. يمكن أن تستخدم الهجمات العديد من العبارات والأشكال.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع