Il prossimoProssima guida
Ottimizzazione della politica relativa del gruppo
Tecnico
GUIDA ALL'AI linguistica
Proximal Policy Optimization è un metodo di policy-gradient che limita gli aggiornamenti della politica usando un obiettivo surrogato tagliato.
Ascolta questa guidaNarrato dall'IA · ~2 min
Nel RLHF per modelli linguistici, i termini di ricompensa e KL fanno parte di un più ampio setup di addestramento.
PPO utilizza un rapporto di probabilità tra le politiche nuova e vecchia e lo taglia attorno a un intervallo specificato nell'obiettivo surrogato. Nelle implementazioni RLHF, possono essere inclusi modelli di ricompensa, penalità KL e una funzione valore. Una stima del valore supporta il calcolo del vantaggio; non è di per sé la ricompensa. Le implementazioni differiscono, quindi i dettagli dovrebbero essere contestualizzati a un metodo o sistema. Il clipping di PPO limita l'incentivo dell'obiettivo surrogato per rapporti fuori da un intervallo di clipping; non garantisce aggiornamenti dei parametri limitati. Nella PPO on-policy standard, le traiettorie recenti provengono dalla politica che si sta ottimizzando. DeepSeekMath ha introdotto GRPO, che stima i vantaggi relativi tra gruppi di output campionati senza un critico valore separato; questa è una descrizione del metodo, non una garanzia di drift zero.
Raccogli le risposte dalla politica corrente per un batch di prompt.
Valuta le risposte con un modello di ricompensa appreso o un segnale di compito.
Monitora la divergenza KL da una politica di riferimento durante gli aggiornamenti.
Confronta le esecuzioni di PPO con un budget di valutazione e rollout fisso.
PPO rimane un metodo RL generale con compromessi di implementazione. Valuta il calcolo, la qualità del rollout e il comportamento della politica nella configurazione di addestramento effettiva.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Proximal Policy Optimization è un metodo basato sul gradiente di politica che limita gli aggiornamenti della politica usando un obiettivo surrogato tagliato. Nel RLHF dei modelli linguistici, i termini di ricompensa e KL fanno parte di un più ampio contesto di addestramento.
Il clipping di PPO limita l'incentivo del rapporto di politica nel suo obiettivo surrogato quando il rapporto esce dall'intervallo di clipping. Disincentiva grandi cambiamenti di politica in quell'obiettivo, ma non garantisce matematicamente aggiornamenti dei parametri limitati.
Un modello di ricompensa fornisce la ricompensa scalare per le risposte generate, poiché sarebbe impossibile che gli esseri umani attribuissero un punteggio a ogni output durante RL.
La penalità KL per token rispetto alla politica originale (di riferimento) scoraggia il modello dal cambiare il suo comportamento in modo troppo drastico mentre insegue la ricompensa.
Il PPO è un metodo attore-critico; la rete del valore stima la ricompensa attesa, consentendo stime dei vantaggi (spesso tramite GAE) che riducono la varianza.
Il vantaggio misura quanto è stata migliore (o peggiore) l’azione scelta rispetto alla stima del valore, indicando alla politica quali azioni rafforzare.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione della politica relativa del gruppo
Tecnico