الدليل الفني

الأمن الفوري لمنظمة العفو الدولية

تحاول عناوين الأمان السريعة جعل تطبيق نموذج اللغة يتعامل مع المحتوى غير الموثوق به كتعليمات أو يكشف عن معلومات يجب أن يحميها.

استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min

في هذه الصفحةقراءة لمدة دقيقتين
  1. نظرة عامة
  2. النقاط الرئيسية
  3. الغوص العميق
  4. احتفظ بالتعليمات المستردة داخل المستند
  5. التنفيذ في العالم الحقيقي
  6. وضعها موضع التنفيذ
  7. المصادر ومزيد من القراءة
  8. استمر في الاستكشاف
  9. الأسئلة المتداولة

نظرة عامة

يمكن أن تنشأ المشكلة في إدخال المستخدم أو المستندات المستردة أو صفحات الويب أو الصور أو استجابات الأداة. يجب أن تحد الدفاعات من العواقب وكذلك تكتشف النص المشبوه.

النقاط الرئيسية

  1. تمييز التعليمات عن المحتوى المعالج.
  2. الحد من الأذونات بشكل مستقل عن النموذج.
  3. اختبار حدود الثقة عبر قنوات الإدخال.

الغوص العميق

افصل المهمة المصرح بها للمستخدم عن المحتوى الذي تتم معالجته. قد يحتوي المستند بشكل قانوني على تعليمات كجزء من موضوعه. يجب ألا تتحكم هذه الكلمات تلقائيًا في أدوات المساعد أو الوصول إلى الحساب أو سياسة الاستجابة. اجعل الامتيازات ضيقة. لا تتطلب مهمة التلخيص عمومًا وصولاً غير مقيد إلى الملفات أو إذنًا لإرسال الرسائل. قم بفرض هذه الحدود في التطبيق حتى لا يؤدي خطأ النموذج إلى إنشاء قدرة أوسع بصمت. التحقق من صحة المخرجات والإجراءات التبعية مقابل الطلب الأصلي. تحقق من الوجهة والسجلات المتأثرة والبيانات التي يتم إرسالها والموافقة المطلوبة. الصفحة الخارجية التي تدعي أن المستخدم وافق على شيء ما لا تعادل تعليمات المستخدم الفعلية. قم ببناء حالات الانحدار التي تغير موقع وتنسيق التعليمات غير الموثوق بها. اختبار الإدخال المباشر، والممرات المستردة، ونتائج الأداة في بيئة خاضعة للرقابة. راجع ما إذا كان التطبيق يحافظ على أداء المهام المفيد أثناء مقاومة إعادة التوجيه. تجنب الادعاءات بوجود مرشح مضمون للحقن السريع؛ تعتبر الضوابط ذات الطبقات والاختبارات المستمرة أكثر مصداقية.

04عملت المثال

احتفظ بالتعليمات المستردة داخل المستند

  1. أنشئ صفحة اختبار تحتوي على فقرة سياسة عادية وجملة تطلب من المساعد تحميل ملفات غير ذات صلة.

  2. اسأل فقط عن ملخص السياسة. تأكد من أن الملخص يستخدم الحقائق ذات الصلة ومن عدم استدعاء أي أداة تحميل.

  3. كرر ذلك مع التعليمات الموجودة في الكتلة المقتبسة وفي نتيجة الأداة لاختبار نفس حدود الثقة عبر التنسيقات.

ما يظهر

يتحقق هذا التمرين الدفاعي المحدود من الالتزام بالمهمة دون استخدام ملفات خاصة حقيقية.

التنفيذ في العالم الحقيقي

تلخيص مستند يحتوي على مقطع يشبه التعليمات دون تنفيذه.

تحقق من إجراء الأداة الصادرة مقابل الوجهة والغرض الأصليين للمستخدم.

وضعها موضع التنفيذ

لماذا يهم

  • التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
  • قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
  • مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.

احترس من

  • يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
  • غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
  • يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.

الخطوات التالية

  1. تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
  2. المعيار في ظل ظروف التحميل والبيانات الواقعية.
  3. مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
  4. قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.

المصادر ومزيد من القراءة

  1. OWASPمخاطر الحقن الفوري والتخفيف منها

استمر في الاستكشاف

رسالة إخبارية مجانية

احصل على الإحاطة اليومية لمنظمة العفو الدولية

ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.

بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.

اختبر نفسك

Take the AI Prompt Security quiz

تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.

ابدأ الاختبار

دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع

الأسئلة المتداولة

هل يمكن حل الحقنة السريعة بمنع عبارة واحدة؟

لا. المشكلة الأساسية هي ما إذا كان المحتوى غير الموثوق به يمكنه إعادة توجيه السلوك. يمكن أن تستخدم الهجمات العديد من العبارات والأشكال.

استمر في التعلم

أدلة ذات صلة

تم اختيار المزيد من الأدلة لهذا الموضوع

احصل على شهادة الذكاء الاصطناعي المجانيةدورة مجانية قصيرة واختبار. لا تكلفة ولا بطاقة. حوالي 2.5 ساعة.ابدأ مجانًا →