অভিনেতা-সমালোচক পদ্ধতি কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. একজন অভিনেতা-সমালোচক পদ্ধতিতে 'সমালোচক'-এর ভূমিকা কী?
   • রাজ্যের (বা ক্রিয়া) মূল্য অনুমান করতে এবং অভিনেতার পছন্দগুলি মূল্যায়ন করতে
   • কোন পদক্ষেপ নিতে হবে তা নির্বাচন করতে
   • রিপ্লে বাফার সংরক্ষণ করতে
   • এলোমেলোভাবে পরিবেশ অন্বেষণ করতে
2. 'সুবিধা' A(s,a) = Q(s,a)- V(s) কি পরিমাপ করে?
   • মোট পর্বের পুরস্কার
   • রাষ্ট্রের গড় মূল্যের চেয়ে একটি কর্ম কতটা ভালো
   • শেখার হার
   • উপলব্ধ কর্মের সংখ্যা
3. কেন REINFORCE-এর মতো বিশুদ্ধ নীতি-গ্রেডিয়েন্ট পদ্ধতির তুলনায় সমালোচক যোগ করলে বৈচিত্র্য কম হয়?
   • এটি সমীকরণ থেকে পুরষ্কার সরিয়ে দেয়
   • এটি নীতিকে নির্ধারক করে তোলে
   • সমালোচক একটি বেসলাইন প্রদান করে, তাই আপডেটগুলি কম শোরগোল সুবিধার সংকেত ব্যবহার করে
   • এটা ডিসকাউন্ট ফ্যাক্টর বাড়ায়
4. অভিনেতা-সমালোচক পদ্ধতির কোন ক্ষমতা আছে যে কিউ-লার্নিং-এর মতো সাধারণ মান-ভিত্তিক পদ্ধতিগুলি বিশ্রীভাবে পরিচালনা করে?
   • বিচ্ছিন্ন কর্ম
   • পুরষ্কার ব্যবহার করে
   • ভবিষ্যৎ ছাড়
   • ক্রমাগত কর্ম স্পেস
5. নিচের কোনটি একটি অভিনেতা-সমালোচক-ভিত্তিক অ্যালগরিদম ভাষা মডেলে RLHF-এর জন্য ব্যাপকভাবে ব্যবহৃত হয়?
   • পিপিও (প্রক্সিমাল পলিসি অপ্টিমাইজেশান)
   • K- মানে
   • লিনিয়ার রিগ্রেশন
   • প্রশ্ন-শিক্ষা
6. অভিনেতা সাধারণত তার নীতি আপডেট করার জন্য কোন সংকেত ব্যবহার করেন?
   • কাঁচা পিক্সেল ইনপুট
   • সমালোচক দ্বারা প্রদত্ত সুবিধা বা TD ত্রুটি৷
   • রিপ্লে বাফার আকার
   • একটি নির্দিষ্ট র্যান্ডম সংখ্যা
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline