Quiz collegato alla guida · Medio Livello

Quiz sui metodi attore-critico

Controlla i ruoli dell'attore e del critico, i segnali di vantaggio e TD, la riduzione della varianza, le azioni continue e gli esempi di PPO. nella pratica moderna.

Percorsi guida correlatiMetodi della critica dell'attore
Domanda 1 di 8

In un metodo Attore-Critico, qual è il ruolo del 'critico'?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In un metodo Attore-Critico, qual è il ruolo del 'critico'?
    • Per stimare il valore degli stati (o delle azioni) e valutare le scelte dell'attore
    • Per selezionare quale azione intraprendere
    • Per memorizzare il buffer di riproduzione
    • Per esplorare casualmente l'ambiente
  2. Cosa misura il 'vantaggio' A(s,a) = Q(s,a) - V(s)?
    • La ricompensa totale dell'episodio
    • Quanto è migliore un'azione rispetto al valore medio dello stato
    • Il tasso di apprendimento
    • Il numero di azioni disponibili
  3. Perché l’aggiunta di un critico riduce la varianza rispetto ai metodi puramente basati sul gradiente politico come REINFORCE?
    • Rimuove i premi dall'equazione
    • Rende la politica deterministica
    • Il critico fornisce una linea di base, quindi gli aggiornamenti utilizzano un segnale di vantaggio meno rumoroso
    • Aumenta il fattore di sconto
  4. Quali capacità hanno i metodi Actor-Critic che i semplici metodi basati sul valore come Q-Learning gestiscono in modo goffo?
    • Azioni discrete
    • Utilizzo dei premi
    • Scontare il futuro
    • Spazi di azione continua
  5. Quale dei seguenti è un algoritmo basato sull'attore-critico ampiamente utilizzato per RLHF su modelli linguistici?
    • PPO (ottimizzazione della politica prossimale)
    • K-significa
    • Regressione lineare
    • Q-Learning
  6. Quale segnale utilizza tipicamente l’attore per aggiornare la sua politica?
    • L'input di pixel grezzi
    • Il vantaggio o l'errore TD fornito dal critico
    • La dimensione del buffer di riproduzione
    • Un numero casuale fisso
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline