Gids-gekoppelde quiz · Middelmatig Niveau

Quiz over acteur-criticusmethoden

Controleert de actor- en criticusrollen, voordeel- en WL-signalen, variantiereductie, continue acties en PPO-voorbeelden. in de moderne praktijk.

Gerelateerde gidspadenMethoden van acteurcritici
Vraag 1 van 8

Wat is bij een Actor-Critic-methode de rol van de 'criticus'?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is bij een Actor-Critic-methode de rol van de 'criticus'?
    • Om de waarde van toestanden (of acties) in te schatten en de keuzes van de actor te evalueren
    • Om te selecteren welke actie moet worden ondernomen
    • Om de afspeelbuffer op te slaan
    • Om willekeurig de omgeving te verkennen
  2. Wat meet het 'voordeel' A(s,a) = Q(s,a) - V(s)?
    • De totale afleveringsbeloning
    • Hoeveel beter is een actie dan de gemiddelde waarde van de staat
    • Het leerpercentage
    • Het aantal beschikbare acties
  3. Waarom vermindert het toevoegen van een criticus de variantie in vergelijking met zuivere beleidsgradiëntmethoden zoals REINFORCE?
    • Het verwijdert beloningen uit de vergelijking
    • Het maakt het beleid deterministisch
    • De criticus biedt een basislijn, dus updates gebruiken een minder luidruchtig voordeelsignaal
    • Het verhoogt de kortingsfactor
  4. Welke mogelijkheden hebben Actor-Critic-methoden die op waarden gebaseerde methoden zoals Q-Learning lastig hanteren?
    • Discrete acties
    • Beloningen gebruiken
    • De toekomst buiten beschouwing laten
    • Doorlopende actieruimtes
  5. Welke van de volgende is een op acteurs en critici gebaseerd algoritme dat veel wordt gebruikt voor RLHF op taalmodellen?
    • PPO (proximale beleidsoptimalisatie)
    • K-betekent
    • Lineaire regressie
    • Q-Leren
  6. Welk signaal gebruikt de actor doorgaans om zijn beleid bij te werken?
    • De onbewerkte pixelinvoer
    • Het voordeel of de TD-fout die door de criticus wordt verstrekt
    • De grootte van de herhalingsbuffer
    • Een vast willekeurig getal
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline