Il prossimoProssima guida
Apprendimento per rinforzo dal feedback umano
Tecnico
GUIDA TECNICA
L’apprendimento per rinforzo inverso (IRL) capovolge l’RL standard: invece di ricevere una ricompensa e trovare una politica, osserva il comportamento degli esperti e deduce la funzione di ricompensa nascosta che lo spiega.
Ascolta questa guidaNarrato dall'IA · ~2 min
This matters because a recovered reward generalizes to new situations far better than directly copied actions.
L'apprendimento per rinforzo inverso chiede: quale obiettivo deve aver perseguito un esperto per comportarsi in un certo modo? Date le dimostrazioni, l’IRL recupera una funzione di ricompensa in base alla quale quel comportamento appare ottimale (o quasi ottimale), quindi utilizza l’RL standard per derivare una politica. La motivazione è la generalizzazione: una ricompensa appresa cattura il perché dietro il comportamento, in modo che l'agente possa agire in modo sensato in stati che le dimostrazioni non hanno mai coperto, a differenza della clonazione comportamentale che imita solo le azioni. Il problema è fondamentalmente mal posto: molte funzioni di ricompensa spiegano lo stesso comportamento, comprese quelle banali. Gli approcci chiave risolvono questa ambiguità, compresi i metodi a margine massimo che preferiscono le ricompense che rendono l’esperto chiaramente migliore, e l’IRL con massima entropia, che sceglie la distribuzione della ricompensa meno impegnativa coerente con i dati.
Veicoli autonomi che deducono le preferenze di guida (fluidità, margini di sicurezza) dai guidatori umani
I robot apprendono gli obiettivi delle attività da dimostrazioni umane per generalizzarli a nuovi layout
Modellare il movimento dei pedoni o degli animali recuperando gli obiettivi dietro le traiettorie osservate
Inferenza sulla ricompensa per l'allineamento dell'intelligenza artificiale, apprendimento dei valori umani dalle scelte dimostrate
L’IRL sostiene sempre più l’apprendimento delle ricompense per l’allineamento: anziché essere gli esseri umani a codificare manualmente le ricompense, i sistemi deducono ciò che le persone apprezzano dal comportamento e dal feedback. Aspettatevi collegamenti più stretti con l’apprendimento di rinforzo dal feedback umano e dall’apprendimento delle preferenze, adattandosi al modello linguistico e alle impostazioni della robotica. La ricerca sta spingendo verso il recupero di ricompense da video grezzi e osservazioni parziali, e verso ricompense chiaramente identificabili che resistono ai problemi di ricompensa e ambiguità che affliggono i metodi odierni.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L’apprendimento per rinforzo inverso (IRL) capovolge l’RL standard: invece di ricevere una ricompensa e trovare una politica, osserva il comportamento degli esperti e deduce la funzione di ricompensa nascosta che lo spiega. Ciò è importante perché una ricompensa recuperata si generalizza a nuove situazioni molto meglio delle azioni copiate direttamente.
L'IRL prende le dimostrazioni come input e deduce la funzione di ricompensa sottostante in base alla quale il comportamento dell'esperto appare ottimale.
Molteplici funzioni di ricompensa, inclusa una banale ricompensa tutta zero, possono rendere ottimale il comportamento osservato, quindi la ricompensa non è determinata unicamente dalle sole dimostrazioni.
Una funzione di ricompensa codifica il motivo per cui l’esperto ha agito in quel modo, lasciando che la politica derivata si comporti in modo sensato nei nuovi stati, mentre la clonazione copia solo le azioni viste nei dati.
L’IRL di massima entropia presuppone che le traiettorie con ricompensa più elevata siano esponenzialmente più probabili, fornendo un obiettivo unico che tollera anche esperti imperfetti e rumorosi.
L'IRL produce una ricompensa, che viene poi consegnata a un normale algoritmo RL per calcolare una politica ottimale in base all'obiettivo dedotto.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Apprendimento per rinforzo dal feedback umano
Tecnico