دليل المجتمع
استخراج النماذج وهجمات السرقة
يستخدم استخراج النموذج وصول الاستعلام إلى نموذج منشور لتدريب بديل يقلد بعضًا من سلوكه.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
تتعلق الهجمات وعمليات الاسترداد التي تم الإبلاغ عنها بواجهة النموذج والمخرجات والتجربة.
الغوص العميق
يعامل هجوم استخراج النموذج النموذج المنشور باعتباره أوراكل: يقوم المهاجم بجمع أزواج المدخلات والمخرجات وتدريب بديل. توضح ورقة التنبؤ لواجهة برمجة التطبيقات (API) لعام 2016 هجمات الاستخراج لفئات نماذج محددة وتوضح أن حذف قيم الثقة لا يمنع كل هجوم. تستعيد دراسة أجريت عام 2024، *سرقة جزء من نموذج لغة الإنتاج*، طبقة إسقاط مضمنة تصل إلى التماثلات: فهي تشير إلى استخراج دقيق لمصفوفة الإسقاط لـ Ada وBabbage مقابل أقل من 20 دولارًا أمريكيًا في الاستعلامات والتقديرات التي تقل عن 2000 دولار أمريكي لـ GPT-3.5 Turbo. تتعلق هذه النتائج بتلك الطبقة وتلك النماذج، وليس باستخراج نقاط التفتيش بالكامل. DynaMarks هو اقتراح منفصل يقوم بتغيير استجابات واجهة برمجة التطبيقات (API) ديناميكيًا باستخدام معلمات سرية لنماذج بديلة للعلامة المائية في إعدادات نموذج الرؤية التي تم تقييمها.
التنفيذ في العالم الحقيقي
تقييد ومراقبة الاستعلامات ذات الحجم الكبير إلى واجهة برمجة تطبيقات التنبؤ.
قارن استجابات التسمية فقط مع استجابات ناقل الاحتمال عند مراجعة التعرض للمعلومات.
تقييم دفاع الاستخراج المقترح على فئة النموذج ونمط الوصول الذي يستهدفه.
تعامل مع العلامة المائية كدفاع خاص بطريقة محددة، وليس ضمانًا عالميًا للملكية.
مستقبل استخراج النماذج وهجمات السرقة
قد تجمع الدفاعات بين عناصر التحكم في الوصول والمراقبة وتصميم الاستجابة وأبحاث العلامات المائية الخاصة بنموذج معين. تقييم كل عملية تخفيف في ضوء إعداد الهجوم وفئة النموذج التي تم اختباره عليها؛ ولا توجد ضمانة واحدة تضمن عدم إمكانية تدريب البديل أو تحديده.
وضعها موضع التنفيذ
لماذا يهم
- المخاطر والسلامة. تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف.
- قرارات أوضح. إن المعرفة العامة والمهنية تحدد ما إذا كانت سياسة السلامة القوية ممكنة من الناحية السياسية.
- تجاوز الضجة. إن التفسيرات الواضحة تقلل من الاستيلاء على الضجيج والعلاقات العامة المعملية والمسرح الأخلاقي الغامض.
احترس من
- التعامل مع المخاطر الوجودية باعتبارها خيالًا علميًا ومركبات القدرة.
- الخلط بين سلامة المنتج السطحي والمحاذاة في ظل الاستقلالية العالية.
- ترك الجماهير غير الإنجليزية وغير الخبراء مع مصادر منخفضة الجودة فقط.
الخطوات التالية
- فصل أضرار المنتج، وسوء الاستخدام، ومخاطر فقدان السيطرة/اختلال المحاذاة.
- اسأل عن الأدلة التي من شأنها أن تغير وجهة نظرك بشأن الجداول الزمنية وشدتها.
- تفضيل المصادر الأولية والتقييمات الملموسة على المطالبات التسويقية.
- حدد مسار عمل واحد: المهنة، أو السياسة، أو التمويل، أو المهارات - وليس الوعي فقط.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Model Extraction and Stealing Attacks quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو استخراج النماذج وهجمات السرقة؟
يستخدم استخراج النموذج وصول الاستعلام إلى نموذج منشور لتدريب بديل يقلد بعضًا من سلوكه. تتعلق الهجمات وعمليات الاسترداد التي تم الإبلاغ عنها بواجهة النموذج والمخرجات والتجربة.
ما هي الفكرة الأساسية وراء هجوم استخراج النموذج؟
يعامل الاستخراج النموذج المنشور باعتباره أوراكل: يجمع المهاجم أزواج المدخلات والمخرجات ويدرب نموذجًا مقلدًا لتقليد السلوك، دون الوصول إلى الأوزان الأصلية على الإطلاق.
لماذا تجعل إرجاع متجهات الاحتمالية الكاملة عملية الاستخراج أسهل من إرجاع علامة أعلى 1 فقط؟
يكشف كل متجه احتمالي كامل عن سطح القرار الداخلي للنموذج أكثر بكثير من مجرد تسمية واحدة، مما يسمح للمهاجم بإعادة بناء الحدود باستخدام عدد أقل من الاستعلامات.
ما هي التقنية الدفاعية التي تقلل بشكل مباشر المعلومات المتسربة لكل استعلام؟
يؤدي تضييق المخرجات، على سبيل المثال، إرجاع التسمية العليا أو الاحتمالات الدائرية فقط، إلى تقليل الإشارة التي تعطيها كل استجابة للمهاجم، مما يزيد من تكلفة الاستخراج.
ماذا جاء في ورقة استخراج نموذج لغة الإنتاج لعام 2024 حول GPT-3.5 Turbo؟
يستعيد البحث طبقة التضمين والإسقاط حتى التماثلات، ويستخرج بالضبط مصفوفة الإسقاط الخاصة بـ Ada وBabbage بأقل من 20 دولارًا، وتقديرات أقل من 2000 دولار في الاستعلامات الخاصة بـ GPT-3.5 Turbo.
لماذا يعتبر النموذج البديل المسروق خطيرًا بما يتجاوز مجرد خسارة الإيرادات؟
وبمجرد حصول المهاجمين على نسخة محلية، يمكنهم فحصها بحرية لتصميم مدخلات عدائية أو هجمات مراوغة تخدع أيضًا النظام المنشور الأصلي.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع