अभिनेता-आलोचक विधियाँ प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. अभिनेता-आलोचक पद्धति में, 'आलोचक' की क्या भूमिका होती है?
   • राज्यों (या कार्यों) के मूल्य का अनुमान लगाना और अभिनेता की पसंद का मूल्यांकन करना
   • यह चुनने के लिए कि कौन सी कार्रवाई करनी है
   • रीप्ले बफ़र को स्टोर करने के लिए
   • पर्यावरण का बेतरतीब ढंग से पता लगाने के लिए
2. 'फायदा' A(s,a) = Q(s,a) - V(s) क्या मापता है?
   • संपूर्ण एपिसोड का इनाम
   • कोई कार्रवाई राज्य के औसत मूल्य से कितनी बेहतर है
   • सीखने की दर
   • उपलब्ध कार्रवाइयों की संख्या
3. REINFORCE जैसी शुद्ध नीति-ढाल विधियों की तुलना में एक आलोचक को जोड़ने से भिन्नता क्यों कम हो जाती है?
   • यह समीकरण से पुरस्कार हटा देता है
   • यह नीति को नियतिवादी बनाता है
   • आलोचक एक आधार रेखा प्रदान करता है, इसलिए अपडेट कम शोर वाले लाभ संकेत का उपयोग करते हैं
   • इससे डिस्काउंट फैक्टर बढ़ जाता है
4. अभिनेता-आलोचक पद्धतियों में ऐसी कौन सी क्षमता है कि क्यू-लर्निंग जैसी सामान्य मूल्य-आधारित पद्धतियां अजीब तरीके से संभालती हैं?
   • पृथक् क्रियाएँ
   • पुरस्कारों का उपयोग करना
   • भविष्य पर छूट
   • सतत क्रिया स्थान
5. निम्नलिखित में से कौन सा एक अभिनेता-आलोचक-आधारित एल्गोरिदम है जो भाषा मॉडल पर आरएलएचएफ के लिए व्यापक रूप से उपयोग किया जाता है?
   • पीपीओ (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन)
   • K-मतलब
   • रेखीय प्रतिगमन
   • प्रश्न-सीखना
6. अभिनेता आम तौर पर अपनी नीति को अद्यतन करने के लिए किस संकेत का उपयोग करता है?
   • कच्चा पिक्सेल इनपुट
   • आलोचक द्वारा प्रदान किया गया लाभ या टीडी त्रुटि
   • रीप्ले बफ़र आकार
   • एक निश्चित यादृच्छिक संख्या
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline