Gids-gekoppelde quiz · Middelmatig Niveau
Quiz over acteur-criticusmethoden
Controleert de actor- en criticusrollen, voordeel- en WL-signalen, variantiereductie, continue acties en PPO-voorbeelden. in de moderne praktijk.
Vraag 1 van 8
Wat is bij een Actor-Critic-methode de rol van de 'criticus'?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is bij een Actor-Critic-methode de rol van de 'criticus'?
- Om de waarde van toestanden (of acties) in te schatten en de keuzes van de actor te evalueren
- Om te selecteren welke actie moet worden ondernomen
- Om de afspeelbuffer op te slaan
- Om willekeurig de omgeving te verkennen
- Wat meet het 'voordeel' A(s,a) = Q(s,a) - V(s)?
- De totale afleveringsbeloning
- Hoeveel beter is een actie dan de gemiddelde waarde van de staat
- Het leerpercentage
- Het aantal beschikbare acties
- Waarom vermindert het toevoegen van een criticus de variantie in vergelijking met zuivere beleidsgradiëntmethoden zoals REINFORCE?
- Het verwijdert beloningen uit de vergelijking
- Het maakt het beleid deterministisch
- De criticus biedt een basislijn, dus updates gebruiken een minder luidruchtig voordeelsignaal
- Het verhoogt de kortingsfactor
- Welke mogelijkheden hebben Actor-Critic-methoden die op waarden gebaseerde methoden zoals Q-Learning lastig hanteren?
- Discrete acties
- Beloningen gebruiken
- De toekomst buiten beschouwing laten
- Doorlopende actieruimtes
- Welke van de volgende is een op acteurs en critici gebaseerd algoritme dat veel wordt gebruikt voor RLHF op taalmodellen?
- PPO (proximale beleidsoptimalisatie)
- K-betekent
- Lineaire regressie
- Q-Leren
- Welk signaal gebruikt de actor doorgaans om zijn beleid bij te werken?
- De onbewerkte pixelinvoer
- Het voordeel of de TD-fout die door de criticus wordt verstrekt
- De grootte van de herhalingsbuffer
- Een vast willekeurig getal
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline