دليل المجتمع

سلامة الذكاء الاصطناعي

سلامة الذكاء الاصطناعي هي المجال الذي يركز على منع أنظمة الذكاء الاصطناعي من التسبب في أضرار جسيمة - بدءًا من الإخفاقات اليومية وسوء الاستخدام وحتى المخاطر الكارثية والوجودية من الأنظمة المتقدمة ذات القدرة العالية.

Part of the Society & Ethics learning path

نظرة عامة

سلامة الذكاء الاصطناعي هي المجال الذي يركز على منع أنظمة الذكاء الاصطناعي من التسبب في أضرار جسيمة - بدءًا من الإخفاقات اليومية وسوء الاستخدام وحتى المخاطر الكارثية والوجودية من الأنظمة المتقدمة ذات القدرة العالية.

تقع سلامة الذكاء الاصطناعي عند تقاطع القدرات والسلطة والاختيار العام - حيث تحدد السلامة والحوكمة والشرعية ما إذا كان الذكاء الاصطناعي المتقدم يساعد أو يضر على نطاق واسع.

الغوص العميق

تمتد سلامة الذكاء الاصطناعي إلى نطاق واسع. فمن ناحية، هناك مخاطر مألوفة تتعلق بالمنتج: الهلوسة، والتحيز، وتسريبات الخصوصية، وعمليات الاحتيال، والنصائح غير الآمنة. وعلى الطرف الآخر هناك المخاطر التي تنمو مع القدرة: الأنظمة المستقلة التي تسعى إلى تحقيق أهداف غير مقصودة، والنماذج التي تساعد في إساءة الاستخدام الكارثية (مسببات الأمراض، والهجمات السيبرانية)، والسباقات التنافسية التي تضغط على المختبرات لنشرها قبل أن تصبح أعمال السلامة جاهزة. تركز مناقشات المخاطر الوجودية على احتمال أن تصبح أنظمة الذكاء الاصطناعي المستقبلية قوية بما يكفي بحيث يمكن لفشل واحد - اختلال التوافق، أو فقدان السيطرة، أو الانتشار الذي لا رجعة فيه - أن يؤدي إلى تقليص مستقبل البشرية بشكل دائم. لا تحتاج إلى تعيين احتمالية عالية لهذه النتيجة لتأخذ البحث على محمل الجد؛ ولا تزال المخاطر ذات الاحتمالية المنخفضة والتأثيرات الشديدة تبرر الاستعداد لها، تماما كما هي الحال في مجالي الأمن البيولوجي والسلامة النووية. يتضمن العمل العملي في مجال السلامة اليوم التقييمات، وتشكيل الفرق الحمراء، وقابلية التفسير، وتقنيات التحكم، والحوكمة (من يمكنه تدريب ماذا)، والفهم العام حتى تتمكن المجتمعات من دعم السياسة الجيدة.

البصيرة الفنية

نموذج عقلي مفيد: القدرة (ما يستطيع النظام أن يفعله) تضاعف مخاطر الانحياز (سواء كان يفعل ما نعتزمه) والأمن (ما إذا كان الخصوم يستطيعون إساءة استخدامه). يمكن أن تفشل الضمانات التي تقوم بتصفية المخرجات فقط ضد عمليات كسر الحماية، أو الضبط الدقيق لإزالة حالات الرفض، أو الوكلاء الذين يتخذون إجراءات متعددة الخطوات خارج مربع الدردشة. تقوم برامج السلامة القوية بقياس القدرات الخطيرة، واختبار السلوك الخادع، والتخطيط للنشر تحت ضغط تنافسي - وليس فقط تلميع البطاقة النموذجية بعد وقوعها.

إتقان سلامة الذكاء الاصطناعي

لبناء فهم عميق، تعامل مع سلامة الذكاء الاصطناعي كنموذج تشغيل، وليس كميزة واحدة. تحديد النتائج المرغوبة، وتوضيح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.

من الناحية العملية، تعمل الفرق القوية التي تستخدم الذكاء الاصطناعي للسلامة على دمج نمو القدرة مع الحوكمة والسلامة وهياكل المساءلة الواضحة. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.

تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف. وفي الوقت نفسه، التعامل مع المخاطر الوجودية باعتبارها خيالًا علميًا بينما تتراكم القدرات. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.

التأثير الاستراتيجي

تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف.

تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

إن المعرفة العامة والمهنية تحدد ما إذا كانت سياسة السلامة القوية ممكنة من الناحية السياسية.

إن المعرفة العامة والمهنية تحدد ما إذا كانت سياسة السلامة القوية ممكنة من الناحية السياسية. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

إن التفسيرات الواضحة تقلل من الاستيلاء على الضجيج والعلاقات العامة المعملية والمسرح الأخلاقي الغامض.

إن التفسيرات الواضحة تقلل من الاستيلاء على الضجيج والعلاقات العامة المعملية والمسرح الأخلاقي الغامض. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.

مستقبل سلامة الذكاء الاصطناعي

ومع اكتساب النماذج لاستخدام الأدوات والاستقلالية، ستتحول السلامة من مبدأ "لا تقل أشياء سيئة" إلى مبدأ "عدم اتخاذ إجراءات لا رجعة فيها دون إشراف موثوق". توقع المزيد من التقييمات الموحدة، وتدقيق الطرف الثالث، وسياسات الحوسبة والإصدار، والطلب العام على الشفافية. إن محو الأمية جزء من السلامة: فإذا أدرك المتخصصون المخاطر، فلن يتمكن الحكم الديمقراطي من ملاحقة هذه المخاطر.

التنفيذ في العالم الحقيقي

نماذج الفريق الأحمر لمخاطر الأمن الحيوي، والإنترنت، والخداع قبل الإصدار.

تشغيل تقييمات القدرة التي تتحقق مما إذا كان النموذج يمكنه المساعدة في المهام الخطيرة.

نشر عناصر التحكم ذات الطبقات: سياسات الاستخدام، والمراقبة، وحدود المعدلات، والتصعيد البشري للإجراءات عالية المخاطر.

تصميم الاستجابة للحوادث عند فشل النموذج في الإنتاج أو انتشار كسر الحماية.

أنماط التنفيذ

سلامة الذكاء الاصطناعي في الممارسة العملية

نماذج الفريق الأحمر لمخاطر الأمن الحيوي، والإنترنت، والخداع قبل الإصدار.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

سلامة الذكاء الاصطناعي في الممارسة العملية

تشغيل تقييمات القدرة التي تتحقق مما إذا كان النموذج يمكنه المساعدة في المهام الخطيرة.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

سلامة الذكاء الاصطناعي في الممارسة العملية

نشر عناصر التحكم ذات الطبقات: سياسات الاستخدام، والمراقبة، وحدود المعدلات، والتصعيد البشري للإجراءات عالية المخاطر.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

سلامة الذكاء الاصطناعي في الممارسة العملية

تصميم الاستجابة للحوادث عند فشل النموذج في الإنتاج أو انتشار كسر الحماية.

عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.

المخاطر والدرابزين

!

التعامل مع المخاطر الوجودية باعتبارها خيالًا علميًا ومركبات القدرة.

!

الخلط بين سلامة المنتج السطحي والمحاذاة في ظل الاستقلالية العالية.

!

ترك الجماهير غير الإنجليزية وغير الخبراء مع مصادر منخفضة الجودة فقط.

خارطة طريق التنفيذ

1

فصل أضرار المنتج، وسوء الاستخدام، ومخاطر فقدان السيطرة/اختلال المحاذاة.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

2

اسأل عن الأدلة التي من شأنها أن تغير وجهة نظرك بشأن الجداول الزمنية وشدتها.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

3

تفضيل المصادر الأولية والتقييمات الملموسة على المطالبات التسويقية.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

4

حدد مسار عمل واحد: المهنة، أو السياسة، أو التمويل، أو المهارات - وليس الوعي فقط.

تعامل مع هذا كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف الطرح مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.

استمر في الاستكشاف

Check your understanding

Test yourself: take the AI Safety quiz

Start quiz