توصلت الدراسة إلى أن معايير سلامة الذكاء الاصطناعي يمكن أن تستخدم اختبارات أقل بكثير

ماذا حدث

تطبق ورقة بحثية منشورة في 5 أغسطس طريقة من الاختبارات التعليمية لقياس ما تلتقطه معايير سلامة الذكاء الاصطناعي، واختيار مجموعات أصغر من المطالبات المفيدة، ومراجعة التغييرات في سلوك النموذج.

قام باحثان مستقلان وباحثان تابعان لمعهد أمن الذكاء الاصطناعي في المملكة المتحدة بتقييم 192 نموذجًا للدردشة على ثمانية معايير تغطي رفض الطلبات الضارة، والإفراط في رفض الطلبات الحميدة، والضرر السياقي، والصدق. تحتوي المجموعة الكاملة على 5255 مطالبة قبل المعالجة المسبقة؛ احتفظ التحليل بـ 5067 بعد إزالة الإجابات غير المسجلة والعناصر التي لم تميز بين النماذج التي تم اختبارها.

تعامل الفريق مع النماذج باعتبارها خاضعة للاختبار، والمطالبات المرجعية باعتبارها عناصر اختبار، وذلك باستخدام نظرية الاستجابة للعناصر لتقدير المحفزات التي كانت صعبة وأي النماذج المنفصلة هي الأفضل. في تحليل العوامل الرئيسي، فسر الحل المكون من ثلاثة عوامل - والذي تم تلخيصه على أنه صرامة الرفض، والصدق، والضرر السياقي - 77% من التباين في قدرات النموذج، مقارنة بـ 47% لعامل واحد.

ومن خلال 20 تقييمًا معلقًا، استعادت ثلاثة اختبارات ثابتة مكونة من 25 اختبارًا تلك العوامل الثلاثة باستخدام أقل من 2% من المجموعة. بالنسبة إلى HarmBench وSORRY-Bench وOR-Bench-Hard، أعادت ما يقرب من 10 مطالبات تم اختيارها بشكل تكيفي إنتاج تصنيفات مرجعية كاملة مع ارتباطات من 0.92 إلى 0.94 وخفضت عدد المطالبات بنسبة 97-99٪؛ ضاقت الميزة مع نمو ميزانية الاختبار.

الضغط ليس مجرد أخذ عينات عشوائية. تقدر نظرية الاستجابة للعنصر مدى صعوبة كل موجه ومدى نجاحها في فصل النماذج ذات أنماط الاستجابة المختلفة، ثم تختار العناصر التي تحافظ على بنية الاختبار الأكبر. قارن المؤلفون النماذج القصيرة الثابتة مع الاختيار التكيفي، وأجروا تقييمات بدلاً من قياس البيانات المستخدمة لاختيار المطالبات فقط. ويدعم هذا التصميم الادعاء الأضيق نطاقا بأن بعض التصنيفات المعيارية الحالية يمكن إعادة إنتاجها بكفاءة؛ ولا يُظهر أن اختبارًا مكونًا من 10 أو 25 عنصرًا يمكنه اكتشاف وضع فشل جديد تمامًا.

تفاصيل المصدر: Rivera and colleagues' research paper on arXiv ↗

لماذا يهم

تشير الدراسة إلى أن المطالبات المختارة بشكل أفضل يمكن أن تجعل عمليات فحص سلامة الذكاء الاصطناعي المتكررة أرخص دون التظاهر بأن كل معيار يقيس درجة أمان عالمية واحدة.

يمكن للاختبارات الأرخص أن تسمح للمطورين، والمختبرات الصغيرة، والمقيمين المستقلين بفحص المزيد من إصدارات النماذج أثناء التدريب، والضبط الدقيق، والتكميم، والتغييرات السريعة للنظام. والنتيجة هي إعادة إنتاج القياسات المرجعية الحالية بكفاءة، وليس توسيع ما يمكن أن تكتشفه تلك المقاييس.

ويكشف التحليل العاملي أيضًا عن مقايضة التهديف. يمكن أن تتداخل المعايير التي تكافئ الرفض مع بعضها البعض، في حين أن المعيار المرجعي لتجنب حالات الرفض غير الضرورية يكافئ السلوك المعاكس. يمكن أن يؤدي حساب متوسطها دون شرح الأوزان إلى إخفاء ما إذا كان النموذج قد أصبح أكثر أمانًا، أو مجرد أكثر تقييدًا، أو أقل فائدة في الطلبات الحميدة.

اختبرت الورقة أيضًا أساليب تدقيق الصندوق الأسود على سلوك أكياس الرمل المتعمد. اكتشف فحص نمط الاستجابة ضعفًا انتقائيًا في الأداء لكنه غاب عن معظم الأداء الضعيف الموحد؛ أدت إضافة فحص القدرة التاريخية إلى رفع مستوى الاكتشاف المشترك إلى 94-97% عبر الحالات التي تمت محاكاتها. وهذا يدعم عمليات التدقيق متعددة الطبقات بدلاً من الاعتماد على درجة واحدة.

بالنسبة للمطورين، القيمة التشغيلية هي التردد. يمكن إعادة إجراء تقييم أقصر بعد إجراء تغيير سريع في النظام، أو تمرير القياس الكمي، أو الضبط الدقيق، أو تحديث الأداة، أو مراجعة سياسة السلامة دون استهلاك ميزانية المعيار الكامل في كل مرة. لكن النتيجة تكون مفيدة فقط عندما تحتفظ الفرق بالمجموعة الأصلية كمراجعة دورية، وتتناوب المطالبات المعلقة، وتتحقق من التغييرات المفاجئة بدلاً من التحسين المباشر للاختبار المضغوط. وإلا فإن الشيك الرخيص يمكن أن يصبح هدفًا آخر للتجهيز الزائد.

ماذا تشاهد بعد ذلك

راقب التكرار المستقل، والتحقق من صحة عائلات النماذج المستقبلية، والأدلة على أن الاختبارات المختصرة تتنبأ بالسلوك خارج المعايير التي صممت لإعادة إنتاجها.

هذه نسخة أولية جديدة، وليست حكمًا مكتملًا لمراجعة النظراء. استخدم تحليل البنية الكامنة 134 نموذجًا، لاحظ المؤلفون أنها صغيرة وفقًا للمعايير السيكومترية التقليدية، واحتفظت طريقة استخلاص بديلة بعاملين بدلاً من ثلاثة. أسماء العوامل هي ملخصات تجريبية، وليست تعريفات للسلامة تم التحقق من صحتها.

أنتج كل نموذج استجابة واحدة لكل موجه متاح من خلال OpenRouter، واستخدم كل معيار القاضي الآلي المحدد له. يمكن أن ترث الاختبارات القصيرة الناتجة عيوبًا في المطالبات الأصلية، وقواعد التسجيل، والتغطية اللغوية، والحكام؛ يقول المؤلفون صراحةً إن الضغط لا يُظهر أن المعيار المعياري يتنبأ بسلامة النشر أو يظل مفيدًا للنماذج المستقبلية.

وقد استخدمت اختبارات أكياس الرمل لتحفيز الكائنات الحية النموذجية، بدلًا من النماذج التي تم ضبطها بدقة لتجنب التقييم، وهو ما قد يكون من الأسهل اكتشافه. تعمل فحوصات واجهة برمجة التطبيقات (API) على إنشاء استمرارية سلوكية، وليس هوية أوزان النماذج المخفية، ولم تختبر الدراسة خصمًا تم تدريبه خصيصًا للتغلب على طرق التدقيق.

الحدود الأكثر أهمية في هذه الورقة هي بين كفاءة القياس وضمان السلامة. يمكن للنموذج القصير تقدير العوامل الكامنة الموجودة في المعيار الأصلي، ولكنه يرث لغة ذلك المعيار، وحكمه، وتأطيره الفوري، والنقاط العمياء. يجب أن تختبر التقييمات المستقبلية المطالبات متعددة اللغات، والوكلاء الممكّنين بالأدوات، والمحادثات الطويلة، والنماذج المضبوطة بدقة، والأحكام البشرية المستقلة. ويجب عليهم أيضًا الإبلاغ عندما تصبح النتيجة المضغوطة غير مستقرة، لأن الارتباط الدقيق بين البيانات المحتفظ بها يمكن أن يخفي الفشل في عائلة النموذج التالي.

وتنشأ قاعدة التبني العملية من تلك القيود: استخدام الاختبارات المضغوطة كحراس، وليس كأحكام. يمكن للفرق تشغيلها بشكل متكرر لرصد الانحدارات، ثم تصعيد التغيير إلى المعيار الكامل والمراجعة البشرية عندما يتحرك النموذج القصير بشكل غير متوقع. تدعم الأدلة الخاصة بالدراسة سير العمل متعدد الطبقات لأن هيكل العامل مشتق من مطالبات وحكام ومخرجات نموذجية معينة. إن نشر العناصر المحددة ورمز الاختيار والنتائج المعلقة وسجل الإصدارات سيسمح للمقيمين المستقلين بالتحقق مما إذا كانت الاختبارات القصيرة تظل غنية بالمعلومات بعد أن يراها المطورون وبعد أن تغير عائلات النماذج الجديدة توزيع الاستجابات.

نفس الشفافية مهمة عند تحديث النموذج. يمكن أن يصبح الاختبار القصير الذي تمت معايرته على جيل واحد سهلاً للغاية، أو ضيقًا جدًا، أو يتماشى عن طريق الخطأ مع موجه النظام الجديد. يجب على الفرق الحفاظ على الإصدارات السابقة، والكشف عن متى يتغير عنصر أو حكم، والإبلاغ عن فترات الثقة بدلاً من تقديم تصنيف مضغوط كدرجة أمان دقيقة. تعمل هذه الممارسات على تحويل نتيجة كفاءة الورقة إلى برنامج مراقبة قابل للتدقيق مع الحفاظ على المعيار الأصلي متاحًا لمراجعة أعمق.

الأدلة والاختبارات ذات الصلة