Quiz collegato alla guida · Medio Livello
Q-Quiz di Apprendimento
Controlla i valori Q, l'apprendimento fuori policy, gli aggiornamenti Bellman, l'esplorazione, le ipotesi di convergenza e il motivo per cui il Q-learning è privo di modelli.
Domanda 1 di 8
Cosa rappresenta il valore Q Q(s, a)?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa rappresenta il valore Q Q(s, a)?
- La ricompensa attesa a lungo termine derivante dall’azione a nello stato s, quindi dall’azione ottimale
- La probabilità di trovarsi nello stato s
- Il numero di volte in cui è stata tentata l'azione a
- La ricompensa immediata solo per l'azione a
- Perché il Q-Learning viene descritto come “fuori policy”?
- Richiede un modello dell’ambiente
- Può apprendere la politica ottimale seguendo una politica diversa ed esplorativa
- Funziona solo offline sui dati memorizzati
- Ignora completamente le ricompense
- Nella regola di aggiornamento, cosa controlla il fattore di sconto gamma?
- Il tasso di esplorazione
- La dimensione della tabella degli stati
- Quanto vengono ponderati i premi futuri rispetto a quelli immediati
- Il numero di episodi
- Qual è l'errore di differenza temporale (TD) in Q-Learning?
- La differenza tra due stati
- La ricompensa totale di un episodio
- Il tasso di apprendimento moltiplicato per gamma
- r + gamma*max Q(s',a') meno la stima corrente di Q(s,a).
- Perché il Q-Learning tabulare semplice lotta con grandi problemi come i videogiochi dai pixel?
- Il numero di stati distinti è troppo grande per essere memorizzato in una tabella
- Non può utilizzare i premi
- Funziona solo con due azioni
- La gamma deve essere uguale a 1
- Qual è lo scopo della selezione di azioni avide di epsilon?
- Per scegliere sempre l'azione con il valore Q più alto
- Per bilanciare l'esplorazione di nuove azioni con lo sfruttamento di quelle buone conosciute
- Per impostare il fattore di sconto
- Per riporre il Q-table
- What exploration condition appears in the tabular Q-learning convergence result?
- Only the greedy action is ever sampled
- Each state must be visited exactly once
- Every state-action pair must be visited repeatedly under suitable learning conditions
- The transition model must be known in advance
- Why is Q-learning called model-free?
- It never observes the environment
- It does not use rewards
- It requires a complete transition table before learning
- It updates values from sampled rewards and next states without storing transition probabilities