دليل المجتمع

تسمم البيانات والهجمات الخلفية

يؤدي تسميم البيانات إلى إفساد النموذج من خلال التلاعب ببيانات التدريب الخاصة به، وتخفي الهجمات الخلفية محفزًا سريًا يجعل النموذج يسيء التصرف بناءً على الأوامر.

نظرة عامة

يؤدي تسميم البيانات إلى إفساد النموذج من خلال التلاعب ببيانات التدريب الخاصة به، وتخفي الهجمات الخلفية محفزًا سريًا يجعل النموذج يسيء التصرف بناءً على الأوامر. إنها مهمة لأن النماذج تتعلم بشكل متزايد من البيانات المجمعة التي يمكن للمهاجمين تلويثها بهدوء.

يقع تسميم البيانات والهجمات الخلفية عند تقاطع القدرات والسلطة والاختيار العام - حيث تحدد السلامة والحوكمة والشرعية ما إذا كان الذكاء الاصطناعي المتقدم يساعد أو يضر على نطاق واسع.

الغوص العميق

تنقسم هجمات التسمم إلى هدفين عريضين. تهدف هجمات التوفر إلى تقليل الدقة الإجمالية عن طريق حقن أمثلة ذات عناوين خاطئة أو تالفة. تعد الهجمات المستهدفة والهجمات الخلفية أكثر تسللًا: يعمل النموذج بشكل مثالي على المدخلات العادية ولكنه ينتج مخرجات يختارها المهاجم كلما ظهر مشغل مخفي، مثل تصحيح بكسل صغير، أو عبارة محددة، أو علامة مائية غير مرئية. أظهر عمل BadNets مُصنِّفًا لعلامات التوقف يقرأ علامة تحمل علامة لاصقة باسم "الحد الأقصى للسرعة". يتم الكشف عن الأنظمة الحديثة لأنها تتدرب على البيانات على نطاق الويب. أثبت الباحثون أن شراء النطاقات منتهية الصلاحية خلف جزء صغير من عناوين URL لمجموعة البيانات يمكن أن يسمم مجموعات بيانات الصور الشائعة مقابل بضع مئات من الدولارات. يمكن أيضًا أن يتم اختراق النماذج اللغوية من خلال بيانات الضبط الدقيق المسمومة أو أمثلة التعليمات.

البصيرة الفنية

يعد الباب الخلفي للملصقات النظيفة خطيرًا بشكل خاص: فالعينات المسمومة تحتفظ بالملصقات الصحيحة وتبدو طبيعية للمراجعين البشريين، ومع ذلك فهي تتضمن ميزة تحفيز يتعلم النموذج ربطها بالفئة المستهدفة. عند الاستدلال، يؤدي تقديم المشغل إلى قلب التنبؤ بينما تظل الدقة النظيفة عالية، لذلك لا يتمكن التحقق من الصحة القياسي من اكتشافه أبدًا. تشمل الدفاعات تجميع التنشيط، والتوقيعات الطيفية، وإعادة بناء الزناد، والتحقق من مصدر البيانات.

إتقان عمليات تسميم البيانات والهجمات الخلفية

لبناء فهم عميق، تعامل مع تسمم البيانات والهجمات الخلفية كنموذج تشغيل، وليس كميزة واحدة. تحديد النتائج المرغوبة، وتوضيح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.

من الناحية العملية، تعمل الفرق القوية التي تستخدم عمليات تسميم البيانات والهجمات الخلفية على ربط نمو القدرات بالحوكمة والسلامة وهياكل المساءلة الواضحة. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.

تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف. وفي الوقت نفسه، التعامل مع المخاطر الوجودية باعتبارها خيالًا علميًا بينما تتراكم القدرات. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.

التأثير الاستراتيجي

تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف.

تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

إن المعرفة العامة والمهنية تحدد ما إذا كانت سياسة السلامة القوية ممكنة من الناحية السياسية.

إن المعرفة العامة والمهنية تحدد ما إذا كانت سياسة السلامة القوية ممكنة من الناحية السياسية. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

إن التفسيرات الواضحة تقلل من الاستيلاء على الضجيج والعلاقات العامة المعملية والمسرح الأخلاقي الغامض.

إن التفسيرات الواضحة تقلل من الاستيلاء على الضجيج والعلاقات العامة المعملية والمسرح الأخلاقي الغامض. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

مستقبل تسمم البيانات والهجمات الخلفية

وبما أن سلاسل التوريد تعتمد على البيانات المستخرجة، والأوزان المدربة مسبقا، والضبط الدقيق من قبل طرف ثالث، فإن التسمم يتحول من النظرية إلى تهديد حقيقي لسلسلة التوريد. توقع معايير توقيع مجموعة البيانات ومصدرها، والتدريب المعتمد على المتانة الذي يحد من الضرر الناتج عن عدد ثابت من النقاط المسمومة، والمسح الخلفي المستمر للنماذج قبل النشر. بدأت الهيئات التنظيمية والأطر الأمنية مثل MITRE ATLAS في التعامل مع التسمم باعتباره خطرًا من الدرجة الأولى للتعلم الآلي.

التنفيذ في العالم الحقيقي

نموذج رؤية للسيارات ذاتية القيادة يخطئ في قراءة علامة التوقف كعلامة حد للسرعة عند وجود مشغل ملصق صغير

تسميم مجموعة بيانات الصور العامة بتكلفة زهيدة عن طريق الاستيلاء على النطاقات منتهية الصلاحية التي تستضيف جزءًا من عناوين URL للصور الخاصة بها

الباب الخلفي لنموذج إكمال التعليمات البرمجية بحيث تؤدي عبارة المطالبة المخفية إلى إدخال تعليمات برمجية غير آمنة

إتلاف التعليقات التدريبية المجمعة لمرشح البريد العشوائي بحيث تتسلل رسائل بريد إلكتروني ضارة محددة

أنماط التنفيذ

تسميم البيانات والهجمات الخلفية في الممارسة العملية

نموذج رؤية للسيارات ذاتية القيادة يخطئ في قراءة علامة التوقف كعلامة حد للسرعة عند وجود ملصق صغير.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

تسميم البيانات والهجمات الخلفية في الممارسة العملية

تسميم مجموعة بيانات الصور العامة بتكلفة زهيدة عن طريق الاستيلاء على النطاقات منتهية الصلاحية التي تستضيف جزءًا من عناوين URL للصور الخاصة بها.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

تسميم البيانات والهجمات الخلفية في الممارسة العملية

الباب الخلفي لنموذج إكمال التعليمات البرمجية بحيث تؤدي عبارة المطالبة المخفية إلى إدخال تعليمات برمجية غير آمنة.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

تسميم البيانات والهجمات الخلفية في الممارسة العملية

إتلاف التعليقات التدريبية المجمعة لمرشح البريد العشوائي بحيث تتسلل رسائل بريد إلكتروني ضارة محددة.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

المخاطر والدرابزين

!

التعامل مع المخاطر الوجودية باعتبارها خيالًا علميًا ومركبات القدرة.

!

الخلط بين سلامة المنتج السطحي والمحاذاة في ظل الاستقلالية العالية.

!

ترك الجماهير غير الإنجليزية وغير الخبراء مع مصادر منخفضة الجودة فقط.

خارطة طريق التنفيذ

1

فصل أضرار المنتج، وسوء الاستخدام، ومخاطر فقدان السيطرة/اختلال المحاذاة.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

2

اسأل عن الأدلة التي من شأنها أن تغير وجهة نظرك بشأن الجداول الزمنية وشدتها.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

3

تفضيل المصادر الأولية والتقييمات الملموسة على المطالبات التسويقية.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

4

حدد مسار عمل واحد: المهنة، أو السياسة، أو التمويل، أو المهارات - وليس الوعي فقط.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

استمر في الاستكشاف

Check your understanding

Test yourself: take the Data Poisoning and Backdoor Attacks quiz

Start quiz