دليل الأساسيات
التعلم المعزز متعدد الوكلاء
تدرس التعلم المعزز متعدد الوكلاء الإعدادات التي يتعلم فيها عدة وكلاء يتخذون قرارات في بيئة مشتركة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
قد يتعاون الوكلاء أو يتنافسون أو يكون لديهم حوافز مختلطة، وتغيّر تعلم كل وكيل البيئة التي يواجهها الآخرون.
الغوص العميق
يصف Lowe وزملاؤه طريقة MADDPG، التي تستخدم نقادًا مركزيين أثناء التدريب للتحكم المستمر متعدد الوكلاء وممثلين غير مركزيين أثناء التنفيذ. يستخدم Rashid وزملاؤه طريقة QMIX شبكة خلط رتيبة على الفوائد الفردية؛ وتجمع VDN التي قدمها Sunehag وزملاؤه القيم الفعلية الفردية. هذه طرق لإعدادات تعاونية أو مختلطة معينة، وليست حلولًا قابلة للتبادل. تمتد ألعاب ماركوف إلى إطار MDP لعدة وكلاء مع انتقالات حالة وإجراءات/مكافآت خاصة بكل وكيل.
التنفيذ في العالم الحقيقي
في معيار تعاوني، يمكن للوكلاء مشاركة مكافأة الفريق مع مراقبة أجزاء مختلفة من البيئة.
قد تستخدم طرق التدريب المركزي الحالة العامة أثناء التدريب والملاحظات المحلية أثناء التنفيذ.
تمثل طرق تفكيك القيمة مثل VDN و QMIX قيم الفريق باستخدام قيم وكلاء فردية تحت افتراضات هيكلية مختلفة.
يمكن للعب الذاتي تدريب ضد نسخ أو إصدارات من سياسة، كما تم تقييمه في دراسات ألعاب تنافسية معينة.
مستقبل التعلم المعزز متعدد الوكلاء
اختر الطرق بناءً على قابلية ملاحظة البيئة، هيكل المكافأة، حدود التواصل ومهمة التقييم. أبلغ عن معيار الاختبار وظروف التدريب لأن النتيجة في سيناريو متعدد الوكلاء واحد لا تضمن النقل إلى آخر. الأوراق المذكورة لا تثبت نشرات واسعة حالية في المستودعات أو المرور أو الرعاية الصحية.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بالتوثيق حيث يساعد التعلم المعزز متعدد الوكلاء وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
خذ اختبار التعلم المعزز متعدد الوكلاء
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو التعلم المعزز متعدد الوكلاء؟
يدرس التعلم المعزز متعدد الوكلاء الإعدادات التي يتعلم فيها عدة وكلاء يتخذون قرارات في بيئة مشتركة. قد يتعاون الوكلاء أو يتنافسون أو يكون لديهم حوافز مختلطة، وتغيّر تعلم كل وكيل البيئة التي يواجهها الآخرون.
ما الذي يجعل البيئة "غير ثابتة" من وجهة نظر أحد الوكلاء في MARL؟
نظرًا لأن كل عميل يقوم بتحديث سياسته أثناء التدريب، فإن كل عميل يواجه بشكل فعال هدفًا متحركًا - تتغير ديناميكيات البيئة مع تعلم الآخرين.
ماذا يعني "التدريب المركزي مع التنفيذ اللامركزي" (CTDE)؟
تستغل أساليب CTDE مثل MADDPG وQMIX المعلومات العالمية للتعلم المستقر، بينما ينفذ كل وكيل باستخدام ملاحظاته الخاصة فقط.
ما هو الإطار الرياضي الذي يعمم MDP ذو الوكيل الفردي على وكلاء متعددين؟
تعمل ألعاب ماركوف (وتسمى أيضًا الألعاب العشوائية) على توسيع نطاق MDPs من خلال وجود إجراءات مشتركة ومكافآت لكل وكيل عبر العديد من صناع القرار.
في بيئة MARL التعاونية البحتة، كيف يتم تنظيم المكافأة عادةً؟
تمنح الإعدادات التعاونية الوكلاء هدفًا مشتركًا، وبالتالي يصبح التحدي هو تنسيق الإجراءات وتخصيص الائتمان داخل الفريق.
أي نهج تدريبي استخدمه OpenAI Five لتحسين أدائه في Dota 2؟
تصف ورقة OpenAI Five اللعب الذاتي على نطاق واسع، بما في ذلك الألعاب ضد إصدارات من السياسة. كما استخدم AlphaStar بيانات ألعاب بشرية في تدريبه، لذا هذا البند خاص بـ OpenAI Five.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع