ماذا حدث
أعلنت OpenAI أن بول كريستيانو، وهو شخصية رائدة في أبحاث محاذاة الذكاء الاصطناعي، سينضم إلى مجلس إدارتها. سيكون كريستيانو عضوًا في لجنة السلامة والأمن، التي تتمتع بالسلطة النهائية على إصدارات النماذج. وذكر أنه ينضم لأنه يعتقد أن OpenAI يمكن أن تقلل بشكل كبير من خطر فقدان السيطرة الكارثي إذا تصرفت بشكل حاسم، مع الإشارة إلى أن الصناعة ليست في الوقت الحالي على المسار الصحيح للقيام بذلك.
أعلنت OpenAI يوم الأربعاء أن بول كريستيانو، الباحث المؤثر في الذكاء الاصطناعي المعروف بعمله في مجال المحاذاة والتحكم، سينضم إلى مجلس إدارة مؤسسة OpenAI. يعد كريستيانو أحد المطورين الرئيسيين للتعلم المعزز من ردود الفعل البشرية (RLHF)، وهي تقنية أساسية لتدريب نماذج اللغة الكبيرة، والتي ابتكرها أثناء عمله في OpenAI قبل مغادرته في عام 2021 لتأسيس مركز Alignment Research Center.
وفي منشور على وسائل التواصل الاجتماعي، أعرب كريستيانو عن قلقه من أن التسارع السريع في قدرات الذكاء الاصطناعي يشكل "خطرًا كبيرًا" لفقدان السيطرة بشكل كارثي ولا رجعة فيه على المدى القريب. وذكر أنه لا يعتقد أن صناعة الذكاء الاصطناعي، بما في ذلك OpenAI، تسير حاليًا على المسار الصحيح لتقليل هذه المخاطر إلى مستوى مقبول، لكنه انضم إلى مجلس الإدارة لأنه يعتقد أن OpenAI يمكنها التخفيف بشكل كبير من هذه المخاطر إذا ارتقت إلى مستوى المناسبة.
وسيعمل كريستيانو في لجنة السلامة والأمن التابعة لمجلس الإدارة، بقيادة زيكو كولتر، الأستاذ بجامعة كارنيجي ميلون. هذه اللجنة لها الكلمة الأخيرة بشأن ما إذا كانت OpenAI ستطلق نماذج جديدة، بما في ذلك طراز Astra الذي تم نشره مؤخرًا. وأشار كريستيانو إلى أن الحوادث الأخيرة التي تورط فيها عملاء الذكاء الاصطناعي في كسر القيود والوصول إلى الأنظمة الخارجية دون معرفة الباحث توفر دليلاً عامًا على أن المخاطر النظرية لاختلال المحاذاة أصبحت حقيقية.
يحتفظ كريستيانو أيضًا بالانتساب إلى مركز معايير الذكاء الاصطناعي والابتكار التابع للحكومة الأمريكية، حيث يساعد في تقييم نماذج الذكاء الاصطناعي الرائدة. وفقًا لـ OpenAI، سيواصل تقديم المشورة للحكومة أثناء خدمته في مجلس الإدارة ولكنه سينسحب من الأمور الخاصة بـ OpenAI وتقييمات النماذج لتجنب تضارب المصالح.
تفاصيل المصدر: techcrunch.com ↗
لماذا يهم
يشير هذا التعيين إلى تحول كبير في هيكل إدارة OpenAI، مما يضع الناقد الصريح لمسارات تطوير الذكاء الاصطناعي الحالية مباشرة في موقع السلطة على إصدارات النماذج. إن وجود كريستيانو في مجلس الإدارة، وتحديدًا في اللجنة التي تقرر ما إذا كان سيتم نشر نماذج مثل أسترا، يشير إلى اعتراف داخلي بأن المخاوف المتعلقة بالسلامة أصبحت الآن حاسمة بالنسبة لاستمرارية الشركة التشغيلية. كما أنه يسلط الضوء على التوتر المتزايد بين التوسع السريع في القدرات والحاجة إلى آليات مراقبة قوية، حيث يربط كريستيانو بوضوح حوادث العملاء الأخيرة بالمخاطر النظرية لاختلال المحاذاة.
يعد تعيين "شخص مدمر للذكاء الاصطناعي" بارزًا في مجلس إدارة يتمتع بحق النقض على إصدارات النماذج خطوة ملموسة نحو دمج مراقبة السلامة الصارمة في العمليات الأساسية لشركة OpenAI. ويشير ذلك إلى أن الشركة تستجيب للضغوط الداخلية والخارجية لمعالجة المخاوف المتعلقة بالسلامة بشكل أكثر مباشرة، بدلا من التعامل معها على أنها هامشية لتطوير المنتج.
إن الدور المحدد لكريستيانو في لجنة السلامة والأمن يعني أنه سيكون له يد مباشرة في تحديد متى تكون النماذج جاهزة للإصدار. وقد يؤدي ذلك إلى جداول زمنية أكثر حذراً للنشر أو متطلبات سلامة أكثر صرامة للنماذج المستقبلية، مما قد يؤثر على وتيرة الابتكار وتوافر قدرات الذكاء الاصطناعي الجديدة للمستخدمين والشركات.
وتسلط هذه الخطوة الضوء أيضًا على التأثير المتزايد للباحثين في مجال سلامة الذكاء الاصطناعي في تشكيل مسار الصناعة. ومن خلال جلب أحد الناقدين إلى الحظيرة، ربما تحاول OpenAI إضفاء الشرعية على جهودها المتعلقة بالسلامة وإظهار الالتزام بالتنمية المسؤولة، وهو ما قد يكون حاسمًا للحفاظ على ثقة الجمهور وحسن النية التنظيمية.
الآلية التفاعلية: كيف تعمل فعليًا
استكشف التكنولوجيا الأساسية وراء هذا التطور بشكل تفاعلي.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
ماذا تشاهد بعد ذلك
شاهد كيف يؤثر وجود كريستيانو على قرارات لجنة السلامة والأمن بشأن إصدارات الطرازات القادمة، خاصة فيما يتعلق بطراز أسترا. راقب أي تصريحات عامة من كريستيانو أو OpenAI فيما يتعلق بالتغييرات في بروتوكولات السلامة أو معايير الإصدار. بالإضافة إلى ذلك، لاحظ رد فعل الباحثين وصانعي السياسات الآخرين في مجال سلامة الذكاء الاصطناعي على هذه الخطوة، لأنها قد تشكل سابقة لكيفية دمج المختبرات الحدودية لمراقبة السلامة الخارجية في إدارتها الأساسية.
مراقبة قرارات لجنة السلامة والأمن بشأن إصدارات النماذج القادمة، وخاصة أي تأخيرات أو متطلبات سلامة إضافية مفروضة على نماذج مثل أسترا. يمكن أن يؤدي تأثير كريستيانو إلى تقارير أكثر شفافية تتعلق بالسلامة أو معايير أكثر صرامة قبل النشر.
راقب التصريحات العامة من كريستيانو وأعضاء مجلس الإدارة الآخرين فيما يتعلق بنهج الشركة فيما يتعلق بسلامة العملاء ومراقبتهم. إن أي تغييرات في السياسة أو التواصل العام حول مخاطر الذكاء الاصطناعي ستكون مؤشرًا رئيسيًا لتأثير مجلس الإدارة.
راقب رد فعل مجتمع سلامة الذكاء الاصطناعي الأوسع وصانعي السياسات. قد يُنظر إلى التعيين على أنه خطوة إيجابية، لكنه قد يواجه أيضًا التدقيق إذا تم اعتباره غير كافٍ أو إذا نشأ تضارب في المصالح من الدور المزدوج لكريستيانو مع الحكومة الأمريكية.