Il prossimoProssima guida
Pianificazione del tasso di apprendimento
Tecnico
GUIDA TECNICA
Q-Learning è un algoritmo di apprendimento per rinforzo che insegna a un agente quali azioni ripagano meglio apprendendo gradualmente il valore di ogni mossa attraverso tentativi ed errori.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché può trovare un comportamento ottimale senza che gli vengano mai spiegate le regole del suo ambiente.
Il Q-Learning apprende una funzione chiamata Q(s, a): la ricompensa attesa a lungo termine per aver intrapreso l'azione "a" nello stato "s" e quindi agire in modo ottimale in seguito. L'agente inizia a non sapere nulla, prova le azioni e osserva le ricompense. Dopo ogni passaggio sposta la sua stima del valore Q verso la ricompensa appena ricevuta più il miglior valore futuro scontato che si aspetta dallo stato successivo. Fondamentalmente, è “fuori policy” e “privo di modelli”: può apprendere la politica migliore esplorando in modo casuale, e non ha mai bisogno di un modello di come il mondo cambia. Considerata un’esplorazione sufficiente di ogni coppia stato-azione, i valori Q convergono in modo dimostrabile ai valori ottimali e l’azione migliore in qualsiasi stato è semplicemente quella con il Q più alto.
Gli agenti di gioco Atari (DQN di DeepMind) imparano a giocare a Breakout e Pong direttamente dai pixel dello schermo
Ottimizzazione dei tempi dei semafori agli incroci per ridurre al minimo il tempo totale di attesa dei veicoli
Navigazione del robot attraverso una griglia o un labirinto in cui il robot apprende il percorso più breve per massimizzare la ricompensa
Decisioni dinamiche sui prezzi e sull'inventario in cui un agente apprende quali azioni massimizzano il profitto a lungo termine
Il classico Q-Learning tabulare ha difficoltà quando gli stati sono troppi per essere archiviati in una tabella. La direzione dominante lo sta combinando con le reti neurali, come in Deep Q-Networks (DQN), che approssimano i valori Q da input grezzi come i pixel. La ricerca continua a stabilizzare questo aspetto con la riproduzione dell'esperienza, le reti target e varianti come Double DQN e Q-Learning distribuzionale che riducono i bias di sovrastima e rappresentano distribuzioni di rendimento completo anziché singole medie.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Q-Learning è un algoritmo di apprendimento per rinforzo che insegna a un agente quali azioni ripagano meglio apprendendo gradualmente il valore di ogni mossa attraverso tentativi ed errori. È importante perché può trovare un comportamento ottimale senza che gli vengano mai spiegate le regole del suo ambiente.
Q(s, a) stima la ricompensa futura totale scontata derivante dall’azione a nello stato s e dal comportamento ottimale successivo, non solo la ricompensa immediata.
Il massimo sulle azioni successive significa che Q-Learning apprende il valore della politica ottimale avida anche mentre l'agente esplora con una politica di comportamento diversa.
Gamma (tra 0 e 1) sconta i premi futuri; valori vicini a 1 rendono l'agente lungimirante, valori vicini a 0 lo rendono miope.
L'errore TD è il divario tra la nuova stima target (ricompensa più il miglior valore futuro attualizzato) e la vecchia stima Q; l'aggiornamento riduce questo divario.
Una tabella di ricerca necessita di una voce per coppia stato-azione, il che è irrealizzabile quando gli stati sono miliardi, motivando gli approssimatori di reti neurali come DQN.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Pianificazione del tasso di apprendimento
Tecnico