ماذا حدث
نشر الباحثون MMPIBench، وهو معيار لتقييم هجمات الحقن السريع متعددة الوسائط على أطر عمل الذكاء الاصطناعي الوكيل. اختبرت الدراسة ستة أطر عمل وخمسة نماذج أساسية عبر القنوات المرئية والصوتية، ووجدت أنه على الرغم من حظر الهجمات المرئية إلى حد كبير أثناء التخطيط، فإن الهجمات الصوتية لها معدل إكمال أعلى بكثير عندما تدعمها البنية التحتية.
قدم الباحثون MMPIBench، وهو معيار قابل للتكرار مصمم لقياس تأثير هجمات الحقن السريع متعددة الوسائط على أطر عمل الذكاء الاصطناعي الوكيل. تسمح هذه الأطر لنماذج اللغة بتخطيط الذاكرة والحفاظ عليها واستدعاء الأدوات التي تتفاعل مع الملفات ورسائل البريد الإلكتروني والخدمات الواقعية. يقدم المعيار مجموعة ثابتة من الهجمات من خلال ستة ناقلات مرئية، بما في ذلك نص التعرف الضوئي على الحروف، والتراكبات، وبيانات EXIF التعريفية، ورموز الاستجابة السريعة، والواجهات المزيفة، والهجينة، وتتبع مدى انتقال التعليمات المحقونة من الإدراك إلى التخطيط إلى تنفيذ الأداة.
أجريت الدراسة 720 عملية تغطي ستة أطر عمل، وخمسة نماذج أساسية، وستة حاملات، وأربعة أهداف للمهاجمين. أظهرت النتائج أن الهجمات اكتملت في حوالي 1% من عمليات التشغيل ولكن تمت محاولات في 12.8%. تم إغلاق الفجوة بين محاولات الهجمات والمكتملة بالكامل تقريبًا في خطوة التخطيط، حيث قرأ النموذج التعليمات المحقونة ورفض التصرف. إن النموذج الأساسي المحدد المستخدم له أهمية أكبر بكثير من الإطار الذي يحدد ما إذا كان سيتم تنفيذ التعليمات أم لا؛ لم يحاول أحد النماذج مطلقًا الهجوم وتعرف على الحقن في 59.7% من عمليات التشغيل، بينما حاول نموذجان آخران الهجوم في 23.6% من عمليات التشغيل.
قام الباحثون بتوسيع المعيار ليشمل الصوت، وهو القناة الإدراكية الأولية الوحيدة الأخرى التي تقبلها النماذج الحدودية الحالية. استوعب اثنان فقط من النماذج الخمسة الصوت، وثلاثة فقط من الأطر الستة سلمته. ومع ذلك، حيث وصلت الإشارة، اكتمل الهجوم في 49% من الخلايا، وارتفع إلى 75% لنموذج واحد محدد. يشير هذا إلى أنه على الرغم من أن القنوات المرئية يتم الدفاع عنها بشكل كبير من خلال منطق التخطيط، فإن القنوات الصوتية تكون أضيق ولكنها أقل حماية بكثير، مما يؤدي إلى معدلات نجاح أعلى للتعليمات الضارة.
لماذا يهم
يقدم هذا البحث أدلة ملموسة وقابلة للتكرار على أن أنظمة الذكاء الاصطناعي الوكيلة، التي يمكنها الوصول إلى الملفات والخدمات الحقيقية، تظل عرضة للحقن الفوري غير المباشر عبر القنوات غير النصية. تسلط النتائج الضوء على ثغرة أمنية حرجة: في حين يتم تحييد عمليات الحقن المرئي في كثير من الأحيان عن طريق التفكير النموذجي، فإن القنوات الصوتية تكون أقل حماية ويمكن أن تؤدي إلى استدعاءات أدوات ضارة ناجحة. وهذا يؤكد الحاجة إلى تطهير قوي للمدخلات وتدريب متعدد الوسائط على السلامة في عمليات النشر الوكيل.
توضح الدراسة أن الإبلاغ عن معدلات إكمال الهجوم فقط يقلل من حجم التعرض الأمني الفعلي لأنظمة الذكاء الاصطناعي العميلة. يشير المعدل المرتفع لمحاولات الهجمات (12.8%) مقارنة بالمحاولات المكتملة (1%) إلى أن النماذج الحالية غالبًا ما تتعرف على النوايا الخبيثة ولكن هذا الدفاع ليس موحدًا عبر جميع النماذج أو الأساليب.
إن النتيجة التي تفيد بأن الهجمات المستندة إلى الصوت لديها معدل إكمال يبلغ 49% في البيئات المدعومة أمر مثير للقلق بشكل خاص لأن الصوت هو قناة إدخال أقل شيوعًا للعديد من عمليات النشر الوكيل، مما يعني أنه قد يتلقى تدقيقًا أمنيًا أقل. يؤدي هذا إلى إنشاء نقطة عمياء محتملة حيث يمكن للمهاجمين تجاوز الدفاعات المرئية باستخدام المدخلات الصوتية للتلاعب بالوكلاء لتنفيذ استدعاءات الأدوات الضارة.
إن التباين بين النماذج، حيث يتعرف أحد النماذج على الحقن في ما يقرب من 60% من عمليات التشغيل بينما يحاول البعض الآخر الهجمات في أكثر من 20%، يسلط الضوء على أن اختيار النموذج يعد عاملاً حاسمًا في أمن الذكاء الاصطناعي الوكيل. لا يمكن للمؤسسات الاعتماد فقط على الضمانات على مستوى الإطار، ويجب أن تأخذ في الاعتبار خصائص السلامة المحددة لنماذج الأساس الأساسية.
الآلية التفاعلية: كيف تعمل فعليًا
استكشف التكنولوجيا الأساسية وراء هذا التطور بشكل تفاعلي.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
ماذا تشاهد بعد ذلك
يجب على المطورين والمؤسسات التي تنشر الذكاء الاصطناعي الوكيل مراقبة تحديثات MMPIBench وتصحيحات الأمان ذات الصلة. قد تشهد الصناعة تركيزًا متزايدًا على تعقيم مدخلات الصوت وأذونات أكثر صرامة لاستدعاءات الأداة استجابةً لهذه النتائج.
راقب تحديثات MMPIBench والأبحاث اللاحقة التي قد تختبر قنوات إدراكية إضافية أو نواقل هجوم أكثر تطوراً. تسمح إمكانية تكرار هذا المعيار بالتحقق المستمر من المجتمع وتوسيعه.
راقب استجابات الصناعة من مطوري إطار عمل الذكاء الاصطناعي الرئيسيين ومقدمي النماذج الأساسية، الذين قد يصدرون تصحيحات أمنية أو تدريبات محدثة على السلامة لمعالجة نقاط الضعف المحددة المحددة في القنوات الصوتية والمرئية.
لاحظ كيف تقوم المؤسسات التي تنشر الذكاء الاصطناعي الوكيل بتعديل بروتوكولات الأمان الخاصة بها، مع إمكانية تنفيذ تصفية أكثر صرامة للبيانات غير النصية وضوابط أذونات أكثر دقة لاستدعاءات الأدوات للتخفيف من المخاطر التي أبرزتها الدراسة.