اداکار-نقاد کے طریقے کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. اداکار-نقاد کے طریقہ کار میں، 'نقاد' کا کردار کیا ہے؟
   • ریاستوں (یا اعمال) کی قدر کا اندازہ لگانے اور اداکار کے انتخاب کا اندازہ لگانے کے لیے
   • یہ منتخب کرنے کے لیے کہ کون سی کارروائی کرنی ہے۔
   • ری پلے بفر کو ذخیرہ کرنے کے لیے
   • تصادفی طور پر ماحول کو دریافت کرنے کے لیے
2. 'فائدہ' A(s,a) = Q(s,a) - V(s) کی پیمائش کیا ہے؟
   • کل ایپی سوڈ کا انعام
   • ایک عمل ریاست کی اوسط قدر سے کتنا بہتر ہے۔
   • سیکھنے کی شرح
   • دستیاب کارروائیوں کی تعداد
3. REINFORCE جیسے خالص پالیسی کے تدریجی طریقوں کے مقابلے میں تنقید کو شامل کرنے سے فرق کیوں کم ہو جاتا ہے؟
   • یہ مساوات سے انعامات کو ہٹاتا ہے۔
   • یہ پالیسی کو فیصلہ کن بناتا ہے۔
   • نقاد ایک بنیادی لائن فراہم کرتا ہے، لہذا اپ ڈیٹس کم شور والے فائدہ کے سگنل کا استعمال کرتے ہیں۔
   • یہ رعایتی عنصر کو بڑھاتا ہے۔
4. اداکار-نقاد کے طریقوں میں وہ کون سی صلاحیت ہے جو سادہ قدر پر مبنی طریقے جیسے Q-Learning کو عجیب طریقے سے ہینڈل کرتے ہیں؟
   • مجرد اعمال
   • انعامات کا استعمال
   • مستقبل کی چھوٹ
   • مسلسل کارروائی کی جگہیں۔
5. مندرجہ ذیل میں سے کون سا اداکار-نقد پر مبنی الگورتھم ہے جو زبان کے ماڈلز پر RLHF کے لیے بڑے پیمانے پر استعمال ہوتا ہے؟
   • پی پی او (قریبی پالیسی کی اصلاح)
   • K کا مطلب ہے۔
   • لکیری رجعت
   • کیو لرننگ
6. اداکار اپنی پالیسی کو اپ ڈیٹ کرنے کے لیے عام طور پر کون سا سگنل استعمال کرتا ہے؟
   • خام پکسل ان پٹ
   • نقاد کی طرف سے فراہم کردہ فائدہ یا TD غلطی
   • ری پلے بفر کا سائز
   • ایک مقررہ بے ترتیب نمبر
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline