ماذا حدث
أعلنت شركة Google DeepMind عن إصدار تجريبي لما وصفته بأنه أول تقييم مزدوج التعمية لنموذج ذكاء اصطناعي خاص من الدرجة الأولى. تستخدم التجربة نموذج Gemini Flash Lite ومعايير مرجعية سرية يقدمها مقيمون خارجيون.
قالت Google DeepMind يوم 27 أغسطس إنها تقوم بتجربة تقييم مزدوج التعمية حيث يتم إجراء اختبار خارجي داخل بيئة التشفير. ووصفت الشركة المشروع بأنه أول تقييم من نوعه لنموذج ذكاء اصطناعي خاص بها من الدرجة الأولى. النموذج الذي يتم اختباره هو نموذج Gemini Flash Lite، والمعايير سرية.
يجمع البرنامج التجريبي بين Google DeepMind ومعهد سنغافورة لسلامة الذكاء الاصطناعي وOpenMined وAVERI وMLCommons. يقول المصدر إن المشاركين سيختبرون النموذج مقابل معايير سرية في بيئة تحافظ على الخصوصية. ولا يحدد الأسئلة المرجعية، ولا يكشف عن الإصدار المحدد للنموذج أو يقدم نتائج من البرنامج التجريبي.
يستخدم النظام المساحة السرية، وهي جزء من محفظة الحوسبة السرية لـ Google Cloud. تقول Google أن البيئة يمكنها التحقق بشكل مشفر من أن بيانات التقييم الخارجية ونموذج الملكية تظل خاصة لأصحابها. وبموجب الترتيب الموضح، لا يمكن للمقيمين رؤية أوزان نموذج Gemini، بينما لا يمكن لـ Google رؤية مطالبات اختبار المقيمين.
المشكلة المذكورة هي تلوث المعيار: قد يكون أداء النموذج أفضل إذا واجه أسئلة أو مطالبات تقييمية قبل الاختبار. يقول Google إن إجراءات عدم التسجيل الحالية والضمانات التعاقدية ساعدت في الحفاظ على سرية المطالبات الخارجية، لكنه يرى أن الحماية التقنية والتشفير تضيف طبقة أخرى من الضمان.
يوجه الإعلان القراء إلى تقرير فني للمنهجية والنتائج. لا يتضمن النص المصدر نتائج التقرير، أو التدقيق المستقل، أو وصفًا لبروتوكول التحقق من التشفير بتفاصيل كافية لتقييمه، أو دليلاً على أن البرنامج التجريبي قد غيّر بالفعل أداء النموذج أو قرارات النشر.
تفاصيل المصدر: deepmind.google ↗
لماذا يهم
يهدف هذا النهج إلى تقليل التلوث المعياري مع السماح للمؤسسات المستقلة باختبار أنظمة الذكاء الاصطناعي القادرة دون تلقي أوزان النموذج أو تعريض مطالبات الاختبار الخاصة بها لموفر النموذج.
غالبًا ما تُستخدم النتائج المعيارية للذكاء الاصطناعي لمقارنة الأنظمة واتخاذ القرارات المتعلقة بالقدرة والسلامة. إذا كان لدى النموذج أو مطوره إمكانية الوصول إلى مواد الاختبار مسبقًا، فقد تعكس الدرجة العالية جزئيًا الإلمام بالتقييم بدلاً من القدرة التي يهدف الاختبار إلى قياسها. تضع Google اختبارًا مزدوج التعمية كوسيلة لمعالجة مشكلة المصداقية هذه.
ويستهدف الترتيب المقترح وجود صراع عملي في التقييمات الخارجية. تاريخيًا، وفقًا لـ Google، كان المقيِّمون إما يشاركون المطالبات مع موفر النموذج أو يطلبون من الموفر مشاركة أوزان النموذج. الخيار الأول يمكن أن يكشف أسئلة سرية؛ والثاني يمكن أن يكشف الملكية الفكرية القيمة. تم تصميم البرنامج التجريبي لتجنب الحاجة إلى أي من التبادلين.
يمكن أن يكون تقييم الحفاظ على الخصوصية مفيدًا بشكل خاص للاختبارات التي تتضمن الأمن السيبراني أو الوكالات الحكومية، حيث قد تكون المطالبات والسيناريوهات والبيانات حساسة. يقول المصدر إن هذا النهج يمكن أن يدعم الاختبار المستقل مع الحفاظ على سيادة البيانات وأمنها. وهذه فائدة محتملة معلنة، وليست نتيجة مثبتة لهذا البرنامج التجريبي.
وتعتمد الأهمية الأوسع على ما إذا كانت أدلة التشفير يمكنها إثبات ما حدث داخل بيئة التقييم وما إذا كان بإمكان الأطراف الخارجية فحص تلك الأدلة أو التحقق من صحتها بطريقة ذات معنى. إن إبقاء المحفزات والأوزان مخفية قد يقلل من بعض المخاطر، لكنه لا يظهر في حد ذاته أن المعيار المرجعي مصمم بشكل جيد، أو أن النموذج قد تم اختباره بشكل شامل، أو أن النتائج يمكن تعميمها على الاستخدام في العالم الحقيقي.
وبالتالي فإن هذا الإعلان يعد تطورًا في البنية التحتية للتقييم وليس مجرد قدرة نموذجية جديدة. وتتمثل قيمته العامة المباشرة في إمكانية جعل ادعاءات الذكاء الاصطناعي عالية المخاطر أسهل للتدقيق. وحدودها كبيرة: فالمصدر لا يقدم أي نتائج أداء، ولا مقارنة مع التقييمات التقليدية، ولا يوجد دليل حتى الآن على أن الطريقة قابلة للنشر على نطاق واسع.
الآلية التفاعلية: كيف تعمل فعليًا
استكشف التكنولوجيا الأساسية وراء هذا التطور بشكل تفاعلي.
Which component of an AI application is the machine-learning model itself?
ماذا تشاهد بعد ذلك
وتتمثل الأسئلة الرئيسية التي لم يتم حلها بعد في ما إذا كان البرنامج التجريبي يعمل بشكل موثوق على نطاق أوسع، وما مدى استقلالية التحقق، وما الذي سيظهره التقرير الفني، وما إذا كان مطورو النماذج الآخرون يعتمدون ضمانات مماثلة.
يجب أن يوضح التقرير الفني بروتوكول التقييم، بما في ذلك المعلومات التي يمكن لكل مشارك ملاحظتها، وكيفية تكوين بيئة التشفير، وما هي الأدلة التي يتم تقديمها للمراجعين. وبدون هذه التفاصيل، من الصعب الحكم على مقدار الثقة التي يضيفها الطيار بما يتجاوز اتفاقيات السرية الحالية وضوابط التسجيل.
والسؤال الرئيسي هو ما إذا كان الاختبار التجريبي يختبر فقط نموذجًا ضيقًا ومجموعة مرجعية أو ما إذا كانت الطريقة يمكن أن تدعم بنيات النماذج المختلفة ومقدمي التقييم ومجموعات البيانات الحساسة. وسيعتمد التطبيق العملي على التكلفة والأداء والتوافق مع أدوات الاختبار الحالية والقدرة على تكرار التقييمات عبر بيئات مستقلة.
ويجب على المراقبين أيضًا البحث عن معلومات حول المعيار نفسه. يمكن أن تساعد إجراءات التعمية المزدوجة في حماية أسئلة الاختبار، ولكنها لا تستطيع حل مشكلات مثل ضعف تصميم المهمة، أو التغطية غير الكاملة، أو الدرجات الغامضة، أو عدم التطابق بين الأداء المعياري والسلوك في النشر. ولم يذكر المصدر كيف سيتم التعامل مع هذه القضايا.
وستكون أدوار المنظمات المشاركة وترتيبات الرقابة ذات أهمية. يذكر الإعلان عدة شركاء، لكنه لا يوضح من يتحكم في التقييم، ومن يمكنه الطعن في النتائج، وما إذا كان أي طرف سينشر تدقيقًا أو كيف سيتم حل النزاعات حول تشغيل النظام.
وأخيرًا، ستشير استجابة الصناعة إلى ما إذا كانت هذه التجربة ستظل تجربة خاصة بـ Google أم أنها ستصبح ممارسة مشتركة. يقول المصدر إن البرنامج التجريبي يهدف إلى مساعدة الصناعة الأوسع على تطوير أنظمة ذكاء اصطناعي أكثر أمانًا وثقة، لكنه لا يعلن عن التزامات من مطوري النماذج الآخرين أو الهيئات التنظيمية أو هيئات الاختبار المستقلة. ويترك المصدر مسألة التبني الأوسع مفتوحة، لذلك لا يزال يتعين تحديد أي تأثير أوسع للصناعة.