Il prossimoProssima guida
Metodi di rilevamento delle allucinazioni
Tecnico
GUIDA TECNICA
I metodi attore-critico combinano due studenti: un "attore" che sceglie le azioni e un "critico" che giudica quanto buone fossero quelle azioni.
Ascolta questa guidaNarrato dall'IA · ~2 min
This pairing makes reinforcement learning more stable and sample-efficient than using either approach alone.
L’apprendimento per rinforzo ha due stili generali: metodi basati sulle politiche che imparano direttamente cosa fare e metodi basati sui valori che apprendono quanto sono buoni gli stati. Attore-critico li fonde. L'attore è una politica che produce probabilità di azione; il critico è una funzione di valore che stima il rendimento atteso. Dopo ogni passaggio, il critico calcola un errore di differenza temporale che segnala se il risultato è stato migliore o peggiore del previsto. L’attore utilizza questo errore per spingere la sua politica verso azioni che superano le aspettative e allontanarsi da quelle che sottoperformano. Poiché il critico fornisce una linea di base a bassa varianza, le stime del gradiente dell'attore sono molto meno rumorose rispetto ai metodi puramente basati sul gradiente politico come REINFORCE, pur gestendo spazi di azione continui che metodi basati solo sul valore come Q-Learning trovano scomodi.
Addestramento di bracci robotici e controllori di locomozione con coppie articolari continue (ad esempio, utilizzando PPO o SAC)
Allineamento di modelli linguistici di grandi dimensioni tramite RLHF, in cui PPO (un metodo attore-critico) ottimizza le risposte rispetto a un modello di ricompensa
Padroneggiare giochi di strategia complessi come StarCraft II e Dota 2
Controller per il raffreddamento e la gestione dell'energia del data center che apprendono regolazioni continue e fluide
L'attore-critico è la spina dorsale della più moderna RL profonda. Algoritmi come A3C, A2C, PPO, SAC e DDPG si basano tutti su di esso, aggiungendo trucchi come obiettivi ritagliati per aggiornamenti stabili, bonus entropici per l'esplorazione e attori paralleli per il throughput. Aspettatevi una crescita continua nella robotica, negli agenti di gioco su larga scala e nell'RL dal feedback umano per l'ottimizzazione dei modelli linguistici, dove la stabilità e l'efficienza del campione sono fondamentali.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I metodi attore-critico combinano due studenti: un "attore" che sceglie le azioni e un "critico" che giudica quanto buone fossero quelle azioni. Questo abbinamento rende l'apprendimento per rinforzo più stabile ed efficiente in termini di campioni rispetto all'utilizzo di uno dei due approcci da solo.
Il critico apprende una funzione di valore e produce un segnale di valutazione (come l'errore TD) che dice all'attore se le sue azioni sono state migliori o peggiori del previsto.
Il vantaggio isola quanto un’azione specifica supera il risultato tipico di quello stato, fornendo un segnale più chiaro rispetto ai rendimenti grezzi.
Sottraendo la stima del valore del critico come linea di base si riduce la varianza delle stime del gradiente senza aggiungere distorsioni, accelerando l'apprendimento.
Poiché l'attore parametrizza direttamente una politica, può produrre azioni continue (ad esempio, coppie congiunte) senza bisogno di un massimo su infinite azioni.
L'attore adatta la sua politica nella direzione suggerita dal segnale di vantaggio/errore TD del critico, rafforzando le azioni migliori del previsto.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Metodi di rilevamento delle allucinazioni
Tecnico