Quiz collegato alla guida · Medio Livello
Quiz sui metodi attore-critico
Controlla i ruoli dell'attore e del critico, i segnali di vantaggio e TD, la riduzione della varianza, le azioni continue e gli esempi di PPO. nella pratica moderna.
Domanda 1 di 8
In un metodo Attore-Critico, qual è il ruolo del 'critico'?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In un metodo Attore-Critico, qual è il ruolo del 'critico'?
- Per stimare il valore degli stati (o delle azioni) e valutare le scelte dell'attore
- Per selezionare quale azione intraprendere
- Per memorizzare il buffer di riproduzione
- Per esplorare casualmente l'ambiente
- Cosa misura il 'vantaggio' A(s,a) = Q(s,a) - V(s)?
- La ricompensa totale dell'episodio
- Quanto è migliore un'azione rispetto al valore medio dello stato
- Il tasso di apprendimento
- Il numero di azioni disponibili
- Perché l’aggiunta di un critico riduce la varianza rispetto ai metodi puramente basati sul gradiente politico come REINFORCE?
- Rimuove i premi dall'equazione
- Rende la politica deterministica
- Il critico fornisce una linea di base, quindi gli aggiornamenti utilizzano un segnale di vantaggio meno rumoroso
- Aumenta il fattore di sconto
- Quali capacità hanno i metodi Actor-Critic che i semplici metodi basati sul valore come Q-Learning gestiscono in modo goffo?
- Azioni discrete
- Utilizzo dei premi
- Scontare il futuro
- Spazi di azione continua
- Quale dei seguenti è un algoritmo basato sull'attore-critico ampiamente utilizzato per RLHF su modelli linguistici?
- PPO (ottimizzazione della politica prossimale)
- K-significa
- Regressione lineare
- Q-Learning
- Quale segnale utilizza tipicamente l’attore per aggiornare la sua politica?
- L'input di pixel grezzi
- Il vantaggio o l'errore TD fornito dal critico
- La dimensione del buffer di riproduzione
- Un numero casuale fisso
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline