Test de metode actor-critic

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Într-o metodă actor-critic, care este rolul „criticului”?
   • Pentru a estima valoarea stărilor (sau acțiunilor) și a evalua alegerile actorului
   • Pentru a selecta ce acțiune să întreprindă
   • Pentru a stoca tamponul de reluare
   • Pentru a explora aleatoriu mediul
2. Ce măsoară „avantajul” A(s,a) = Q(s,a) - V(s)?
   • Recompensa totală pentru episod
   • Cât de mai bună este o acțiune decât valoarea medie a statului
   • Rata de învățare
   • Numărul de acțiuni disponibile
3. De ce adăugarea unui critic reduce varianța în comparație cu metodele pur gradient de politică, cum ar fi REINFORCE?
   • Îndepărtează recompensele din ecuație
   • Face politica deterministă
   • Criticul oferă o linie de bază, astfel încât actualizările folosesc un semnal de avantaj mai puțin zgomotos
   • Mărește factorul de reducere
4. Ce capacitate au metodele Actor-Critic pe care metodele simple bazate pe valoare, cum ar fi Q-Learning, se ocupă cu stânjenire?
   • Acțiuni discrete
   • Folosind recompense
   • Reducerea viitorului
   • Spații de acțiune continuă
5. Care dintre următoarele este un algoritm bazat pe actor-critic utilizat pe scară largă pentru RLHF pe modele de limbaj?
   • PPO (Optimizare proximală a politicii)
   • K-înseamnă
   • Regresia liniară
   • Q-Learning
6. Ce semnal folosește de obicei actorul pentru a-și actualiza politica?
   • Intrarea pixelilor bruti
   • Avantajul sau eroarea TD oferită de critic
   • Dimensiunea tamponului de reluare
   • Un număr aleator fix
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline