أمن الذكاء الاصطناعي

حدد ما يحتاج إلى الحماية: المدخلات الخاصة، وبيانات التدريب، والعناصر النموذجية، وبيانات الاعتماد، والحسابات المتصلة، والإجراءات الخارجية. سجل من يمكنه التأثير على كل مدخلات وما يمكن أن يكسبه المهاجم من الفشل. يمتلك برنامج الدردشة الآلي العام والوكيل الداخلي الذي يتمتع بإمكانية الوصول للكتابة نماذج تهديد مختلفة. يمكن أن تؤثر التهديدات على مراحل مختلفة. يمكن أن تؤدي المواد التدريبية المسمومة إلى تغيير السلوك المكتسب؛ يمكن للمدخلات العدائية التلاعب بالتنبؤات؛ يمكن للمحتوى المسترد غير الموثوق به إعادة توجيه تطبيق يستخدم الأداة. يمكن أيضًا أن تصبح مخرجات النموذج خطيرة عند إدراجها في استعلام قاعدة بيانات أو صفحة ويب أو أمر دون المعالجة المناسبة. تطبيق الضوابط على حدود البرنامج. فرض الترخيص في التعليمات البرمجية، والحفاظ على الأسرار خارج السياق المرئي للنموذج حيثما أمكن، وتقييد نطاق الأداة، والتحقق من صحة المخرجات قبل الاستخدام. لا يمكن للمطالبة التي تطلب من النموذج التصرف بأمان أن تحل محل عزل الحساب أو التحقق من الأذونات. اختبار مسارات فشل الممثل في بيئة معتمدة والحفاظ على عملية الحادث. قم بتسجيل معلومات كافية للتحقيق دون جمع محتوى حساس غير ضروري. تقييم عناصر التحكم بعد إجراء تغييرات على النموذج ومصادر الاسترجاع والأدوات والتبعيات. وصف المخاطر المتبقية بأمانة؛ لا يوجد مرشح واحد يوفر الحماية الكاملة.