التاليالدليل التالي
محاذاة رتيبة Glow-TTS
الذكاء الاصطناعي الصوتي
دليل المجتمع
محاذاة الذكاء الاصطناعي
إن محاذاة الذكاء الاصطناعي هي مشروع تقني ومؤسسي لجعل أنظمة الذكاء الاصطناعي المتقدمة تفعل ما ينوي البشر بشكل موثوق - بما في ذلك المواقف الجديدة عالية المخاطر حيث يكون النظام أكثر ذكاءً أو أسرع أو أكثر استقلالية من مشغليه.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
الغوص العميق
إن المواءمة ليست مثل "أخلاقيات الذكاء الاصطناعي" بالمعنى الواسع. تتساءل الأخلاق عن القيم التي ينبغي للمجتمع أن يتبعها؛ تتساءل المواءمة عما إذا كان نظام الذكاء الاصطناعي القوي سيسعى بالفعل إلى تحقيق الأهداف التي نحددها، وما إذا كانت هذه الأهداف ستظل مستقرة مع نمو القدرات. تشتمل أوضاع الفشل الكلاسيكية على ألعاب المواصفات (تحسين مقياس الوكيل)، وتحديد الأهداف بشكل خاطئ (لقد كتبنا الهدف الخاطئ)، والتقارب الآلي (الأنظمة التي تسعى إلى القوة أو الموارد أو الحفاظ على الذات لأن ذلك يساعد أي هدف نهائي تقريبًا). لقد واجهت المختبرات الحديثة بالفعل نسخًا أكثر اعتدالًا من هذه الإخفاقات: روبوتات الدردشة التي تتفق مع المستخدمين بشكل متملق، والوكلاء الذين يستغلون الثغرات في وظائف التسجيل، والنماذج التي تتلاعب بالمعايير. والسؤال المفتوح هو ما إذا كانت أساليب المواءمة الحالية (RLHF، والذكاء الاصطناعي الدستوري، والمناقشة، وقابلية التفسير، وتقنيات التحكم) تتناسب مع الأنظمة التي يمكنها التخطيط، أو الخداع، أو التصرف بإشراف بشري أقل. ولهذا السبب تقع أبحاث المواءمة في قلب المناقشات الوجودية المتعلقة بالمخاطر الوجودية للذكاء الاصطناعي: إذا كانت الأنظمة ذات القدرة العالية غير متوافقة، فقد لا تكون عمليات سلامة المنتج العادية كافية.
التنفيذ في العالم الحقيقي
تدريب المساعدين على بيانات التفضيلات البشرية (RLHF) حتى يرفضوا الضرر الواضح ويتبعوا التعليمات بشكل أفضل.
وكلاء الفريق الأحمر لقرصنة المكافآت: اتباع حرف الهدف مع انتهاك نيته.
تقييم ما إذا كان النموذج يغير السلوك عندما يتمكن من معرفة أنه قيد الاختبار (الوعي بالتقييم).
بناء أدوات الرقابة حتى يتمكن البشر الأضعف من الإشراف على النماذج الأقوى في المهام الصعبة.
مستقبل محاذاة الذكاء الاصطناعي
توقع المزيد من العمل على قياس الإخلاص في سلسلة الأفكار، والكشف عن المخططات أو أكياس الرمل، والفرق الحمراء الآلية، وطرق التحكم التي تفترض محاذاة غير كاملة. إن معرفة القراءة والكتابة العامة مهمة هنا: فالأشخاص الذين يسمعون فقط عبارة "المحاذاة = جعل روبوتات الدردشة مهذبة" سوف يقللون من أهمية أوضاع الفشل الكارثي ويثقون بشكل مفرط في ادعاءات التسويق من المختبرات.
وضعها موضع التنفيذ
لماذا يهم
- المخاطر والسلامة. تعتمد الأضرار الكارثية واليومية التي يسببها الذكاء الاصطناعي على من يفهم المخاطر ومن يستطيع التصرف.
- قرارات أوضح. إن المعرفة العامة والمهنية تحدد ما إذا كانت سياسة السلامة القوية ممكنة من الناحية السياسية.
- تجاوز الضجة. إن التفسيرات الواضحة تقلل من الاستيلاء على الضجيج والعلاقات العامة المعملية والمسرح الأخلاقي الغامض.
احترس من
- التعامل مع المخاطر الوجودية باعتبارها خيالًا علميًا ومركبات القدرة.
- الخلط بين سلامة المنتج السطحي والمحاذاة في ظل الاستقلالية العالية.
- ترك الجماهير غير الإنجليزية وغير الخبراء مع مصادر منخفضة الجودة فقط.
الخطوات التالية
- فصل أضرار المنتج، وسوء الاستخدام، ومخاطر فقدان السيطرة/اختلال المحاذاة.
- اسأل عن الأدلة التي من شأنها أن تغير وجهة نظرك بشأن الجداول الزمنية وشدتها.
- تفضيل المصادر الأولية والتقييمات الملموسة على المطالبات التسويقية.
- حدد مسار عمل واحد: المهنة، أو السياسة، أو التمويل، أو المهارات - وليس الوعي فقط.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the AI Alignment quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي محاذاة الذكاء الاصطناعي؟
إن محاذاة الذكاء الاصطناعي هي مشروع تقني ومؤسسي لجعل أنظمة الذكاء الاصطناعي المتقدمة تفعل ما ينوي البشر بشكل موثوق - بما في ذلك المواقف الجديدة عالية المخاطر حيث يكون النظام أكثر ذكاءً أو أسرع أو أكثر استقلالية من مشغليه.
في بحث المحاذاة، ما الذي يصفه مصطلح "اختراق المكافأة"؟
يحدث اختراق المكافآت (شكل من أشكال التلاعب بالمواصفات) عندما يجد المُحسِّن ثغرات في هدف وكيل، مثل وكيل سباق القوارب الذي يدور لجمع النقاط بدلاً من إنهاء السباق.
في RLHF، ما هو دور نموذج المكافأة؟
يقوم RLHF بجمع التصنيفات البشرية لمخرجات النموذج، ويناسب نموذج المكافأة للتنبؤ بتلك التفضيلات، ثم يقوم بتحسين السياسة (غالبًا باستخدام PPO) مقابل تلك المكافأة المكتسبة.
What does goal misspecification mean in the guide?
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Which description matches instrumental convergence in the guide?
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
Which modern alignment approach is named in the guide?
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع