Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Mbinu za Muigizaji-Mkosoaji

Hukagua majukumu ya mwigizaji na mkosoaji, faida na ishara za TD, kupunguza tofauti, vitendo endelevu na mifano ya PPO. katika mazoezi ya kisasa.

Njia za mwongozo zinazohusianaMbinu za Mkosoaji wa Mwigizaji
Swali 1 ya 8

Katika mbinu ya Mwigizaji-Mkosoaji, ni nini nafasi ya 'mkosoaji'?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Katika mbinu ya Mwigizaji-Mkosoaji, ni nini nafasi ya 'mkosoaji'?
    • Kukadiria thamani ya majimbo (au vitendo) na kutathmini chaguo la mwigizaji
    • Ili kuchagua hatua ya kuchukua
    • Ili kuhifadhi bafa ya kucheza tena
    • Kuchunguza mazingira kwa nasibu
  2. Je, 'faida' A(s,a) = Q(s,a) - V(vi) inapima nini?
    • Jumla ya zawadi ya kipindi
    • Kitendo ni bora kiasi gani kuliko thamani ya wastani ya serikali
    • Kiwango cha kujifunza
    • Idadi ya vitendo vinavyopatikana
  3. Kwa nini kuongeza mkosoaji kunapunguza tofauti ikilinganishwa na mbinu safi za gradient sera kama REINFORCE?
    • Inaondoa thawabu kutoka kwa equation
    • Inafanya sera kuwa ya kuamua
    • Mkosoaji hutoa msingi, kwa hivyo masasisho hutumia ishara ya faida isiyo na kelele
    • Inaongeza sababu ya punguzo
  4. Je, ni njia zipi za Muigizaji-Mkosoaji zinazo mbinu wazi za msingi wa thamani kama vile Kujifunza kwa Q-hushughulikia vibaya?
    • Vitendo tofauti
    • Kutumia zawadi
    • Punguzo la siku zijazo
    • Nafasi za vitendo zinazoendelea
  5. Ni ipi kati ya zifuatazo ni algoriti yenye msingi wa Mkosoaji inayotumiwa sana kwa RLHF kwenye miundo ya lugha?
    • PPO (Uboreshaji wa Sera ya Karibu)
    • K-njia
    • Urejeshaji wa mstari
    • Q-Kujifunza
  6. Je, mwigizaji hutumia ishara gani kusasisha sera yake?
    • Ingizo la pikseli ghafi
    • Faida au hitilafu ya TD iliyotolewa na mkosoaji
    • Ukubwa wa bafa ya kucheza tena
    • Nambari isiyobadilika ya nasibu
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline