Quiz collegato alla guida · Medio Livello

Q-Quiz di Apprendimento

Controlla i valori Q, l'apprendimento fuori policy, gli aggiornamenti Bellman, l'esplorazione, le ipotesi di convergenza e il motivo per cui il Q-learning è privo di modelli.

Percorsi guida correlatiQ Apprendimento
Domanda 1 di 8

Cosa rappresenta il valore Q Q(s, a)?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa rappresenta il valore Q Q(s, a)?
    • La ricompensa attesa a lungo termine derivante dall’azione a nello stato s, quindi dall’azione ottimale
    • La probabilità di trovarsi nello stato s
    • Il numero di volte in cui è stata tentata l'azione a
    • La ricompensa immediata solo per l'azione a
  2. Perché il Q-Learning viene descritto come “fuori policy”?
    • Richiede un modello dell’ambiente
    • Può apprendere la politica ottimale seguendo una politica diversa ed esplorativa
    • Funziona solo offline sui dati memorizzati
    • Ignora completamente le ricompense
  3. Nella regola di aggiornamento, cosa controlla il fattore di sconto gamma?
    • Il tasso di esplorazione
    • La dimensione della tabella degli stati
    • Quanto vengono ponderati i premi futuri rispetto a quelli immediati
    • Il numero di episodi
  4. Qual è l'errore di differenza temporale (TD) in Q-Learning?
    • La differenza tra due stati
    • La ricompensa totale di un episodio
    • Il tasso di apprendimento moltiplicato per gamma
    • r + gamma*max Q(s',a') meno la stima corrente di Q(s,a).
  5. Perché il Q-Learning tabulare semplice lotta con grandi problemi come i videogiochi dai pixel?
    • Il numero di stati distinti è troppo grande per essere memorizzato in una tabella
    • Non può utilizzare i premi
    • Funziona solo con due azioni
    • La gamma deve essere uguale a 1
  6. Qual è lo scopo della selezione di azioni avide di epsilon?
    • Per scegliere sempre l'azione con il valore Q più alto
    • Per bilanciare l'esplorazione di nuove azioni con lo sfruttamento di quelle buone conosciute
    • Per impostare il fattore di sconto
    • Per riporre il Q-table
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities