مسابقة أساليب الممثل الناقد

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. في منهج الممثل الناقد، ما هو دور "الناقد"؟
   • لتقدير قيمة الحالات (أو الأفعال) وتقييم اختيارات الفاعل
   • لتحديد الإجراء الذي يجب اتخاذه
   • لتخزين المخزن المؤقت لإعادة التشغيل
   • لاستكشاف البيئة بشكل عشوائي
2. ما الذي تقيسه "الميزة" A(s,a) = Q(s,a) - V(s)؟
   • مكافأة الحلقة الإجمالية
   • ما مدى أفضل الإجراء من متوسط قيمة الدولة
   • معدل التعلم
   • عدد الإجراءات المتاحة
3. لماذا تؤدي إضافة ناقد إلى تقليل التباين مقارنةً بأساليب التدرج السياسي البحتة مثل REINFORCE؟
   • فهو يزيل المكافآت من المعادلة
   • فهو يجعل السياسة حتمية
   • يوفر الناقد خطًا أساسيًا، لذا تستخدم التحديثات إشارة ميزة أقل ضجيجًا
   • يزيد من عامل الخصم
4. ما هي القدرة التي تتمتع بها أساليب الممثل والناقد والتي تتعامل معها الأساليب البسيطة القائمة على القيمة مثل Q-Learning بشكل محرج؟
   • إجراءات منفصلة
   • استخدام المكافآت
   • خصم المستقبل
   • مساحات العمل المستمر
5. أي مما يلي هو خوارزمية تعتمد على الممثل والناقد وتستخدم على نطاق واسع لـ RLHF في نماذج اللغة؟
   • PPO (تحسين السياسة القريبة)
   • وسائل K
   • الانحدار الخطي
   • س-التعلم
6. ما هي الإشارة التي يستخدمها الفاعل عادةً لتحديث سياسته؟
   • إدخال البكسل الخام
   • الميزة أو خطأ TD الذي يقدمه الناقد
   • حجم المخزن المؤقت لإعادة التشغيل
   • رقم عشوائي ثابت
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline