الدليل الفني
التعلم التعزيز العكسي
يقلب التعلم المعزز العكسي (IRL) التعلم المعزز العكسي (RL) القياسي: فبدلاً من الحصول على مكافأة وإيجاد سياسة، فإنه يراقب سلوك الخبراء ويستنتج وظيفة المكافأة المخفية التي تفسر ذلك.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
وهذا مهم لأن المكافأة المستردة تعمم على المواقف الجديدة بشكل أفضل بكثير من الإجراءات المنسوخة مباشرة.
الغوص العميق
يسأل التعلم المعزز العكسي: ما الهدف الذي يجب أن يسعى إليه الخبير للتصرف بالطريقة التي تصرف بها؟ في ضوء العروض التوضيحية، يستعيد IRL وظيفة المكافأة التي بموجبها يبدو هذا السلوك هو الأمثل (أو شبه الأمثل)، ثم يستخدم RL القياسي لاستخلاص السياسة. الدافع هو التعميم، فالمكافأة المستفادة تلتقط السبب وراء السلوك، بحيث يستطيع العامل التصرف بشكل معقول في الحالات التي لم تغطيها العروض التوضيحية مطلقًا، على عكس الاستنساخ السلوكي الذي يحاكي الأفعال فقط. المشكلة في الأساس غير مطروحة: العديد من وظائف المكافأة تفسر نفس السلوك، بما في ذلك السلوكيات التافهة. تعمل الأساليب الرئيسية على حل هذا الغموض، بما في ذلك أساليب الحد الأقصى للهامش التي تفضل المكافآت التي تجعل الخبير الأفضل بشكل واضح، وأقصى قدر من الإنتروبيا IRL، الذي يختار توزيع المكافآت الأقل التزامًا بما يتوافق مع البيانات.
التنفيذ في العالم الحقيقي
المركبات ذاتية القيادة تستنتج تفضيلات القيادة (النعومة، هوامش الأمان) من السائقين البشر
تتعلم الروبوتات أهداف المهمة من العروض البشرية للتعميم على التخطيطات الجديدة
نمذجة حركة المشاة أو الحيوانات من خلال استعادة الأهداف وراء المسارات المرصودة
استنتاج المكافأة لمحاذاة الذكاء الاصطناعي، وتعلم القيم الإنسانية من الاختيارات المثبتة
مستقبل التعلم المعزز العكسي
تدعم IRL بشكل متزايد تعلم المكافآت من أجل المواءمة: فبدلاً من قيام البشر بترميز المكافآت يدويًا، تستنتج الأنظمة ما يقدره الناس من السلوك والتعليقات. توقع روابط أكثر إحكامًا مع التعلم المعزز من ردود الفعل البشرية وتعلم التفضيلات، والتوسع في نموذج اللغة وإعدادات الروبوتات. وتدفع الأبحاث نحو استعادة المكافآت من مقاطع الفيديو الأولية والملاحظات الجزئية، ونحو مكافآت يمكن تحديدها بشكل يمكن إثباته وتقاوم مشاكل اختراق المكافآت والغموض التي تعاني منها أساليب اليوم.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Inverse Reinforcement Learning quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو التعلم التعزيز العكسي؟
يقلب التعلم المعزز العكسي (IRL) التعلم المعزز العكسي (RL) القياسي: فبدلاً من الحصول على مكافأة وإيجاد سياسة، فإنه يراقب سلوك الخبراء ويستنتج وظيفة المكافأة المخفية التي تفسر ذلك. وهذا مهم لأن المكافأة المستردة تعمم على المواقف الجديدة بشكل أفضل بكثير من الإجراءات المنسوخة مباشرة.
ما الذي يهدف التعلم المعزز العكسي إلى استعادته؟
يأخذ IRL العروض التوضيحية كمدخلات ويستنتج وظيفة المكافأة الأساسية التي بموجبها يبدو سلوك الخبير هو الأمثل.
لماذا توصف مشكلة IRL بأنها غير واضحة أو غامضة؟
يمكن لوظائف المكافأة المتعددة، بما في ذلك المكافأة التافهة التي لا تعد ولا تحصى، أن تجعل السلوك المرصود هو الأمثل، وبالتالي لا يتم تحديد المكافأة بشكل فريد من خلال العروض التوضيحية وحدها.
ما هي الميزة الرئيسية التي يتمتع بها استرداد المكافأة مقارنة بالاستنساخ السلوكي؟
تعمل وظيفة المكافأة على تشفير سبب تصرف الخبير على هذا النحو، مما يسمح للسياسة المشتقة بالتصرف بشكل معقول في الحالات الجديدة، في حين أن الاستنساخ ينسخ فقط الإجراءات التي تظهر في البيانات.
كيف يعمل IRL ذو الإنتروبيا القصوى على حل غموض المكافأة؟
تفترض نظرية Max-entropy IRL أن المسارات ذات المكافآت الأعلى هي أكثر احتمالية بشكل كبير، مما يعطي هدفًا فريدًا يتسامح أيضًا مع الخبراء غير الكاملين والصاخبين.
بعد أن يستعيد IRL وظيفة المكافأة، ما الذي يتم فعله عادةً بعد ذلك؟
ينتج IRL مكافأة، يتم تسليمها بعد ذلك إلى خوارزمية RL عادية لحساب السياسة المثلى في إطار هذا الهدف المستنتج.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع