Il prossimoProssima guida
Ottimizzazione della politica prossimale
Intelligenza artificiale linguistica
GUIDA TECNICA
Group Relative Policy Optimization (GRPO) è un metodo di apprendimento per rinforzo per mettere a punto i modelli linguistici che giudica ciascuna risposta rispetto a un gruppo di risposte di pari livello allo stesso prompt, eliminando la rete di valori separata utilizzata da PPO.
Ascolta questa guidaNarrato dall'IA · ~2 min
Divenne famoso come il trucco di allenamento fondamentale dietro i modelli di ragionamento di DeepSeek.
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Addestrare DeepSeek-R1 e DeepSeekMath per produrre ragionamenti basati su una lunga catena di pensiero utilizzando premi per la correttezza basati su regole su problemi di matematica
Ottimizzazione dei modelli di generazione del codice in cui a ciascuna soluzione campionata viene assegnato un punteggio in base al superamento dei test unitari e il gruppo viene normalizzato per scegliere i vincitori
Pipeline RLHF open source (ad esempio, nelle librerie TRL e verl) che utilizzano GRPO per allineare i modelli di chat senza pagare per una rete di valore separata
Migliorare il rispetto delle istruzioni o il comportamento di sicurezza campionando diverse risposte per prompt e premiando quelle che un modello di ricompensa valuta più alto rispetto ai loro pari
Il GRPO è rapidamente diventato una ricetta predefinita per l’addestramento di modelli di ragionamento aperto e i laboratori stanno lavorando sui suoi punti deboli. I ricercatori stanno esplorando soluzioni per i bias di lunghezza e difficoltà (come Dr. GRPO), normalizzazione a livello di token piuttosto che a livello di sequenza e rimozione o rimodellamento del termine KL. Aspettatevi un'integrazione più stretta con ricompense verificabili (matematica, codice, utilizzo di strumenti), una migliore gestione di segnali sparsi e ibridi che combinino linee di base di gruppo con critici leggeri per attività agentiche in più fasi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Group Relative Policy Optimization (GRPO) è un metodo di apprendimento per rinforzo per mettere a punto i modelli linguistici che giudica ciascuna risposta rispetto a un gruppo di risposte di pari livello allo stesso prompt, eliminando la rete di valori separata utilizzata da PPO. È diventato famoso come il trucco di allenamento fondamentale dietro i modelli di ragionamento di DeepSeek.
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Il vantaggio di ogni completamento è (ricompensa - media del gruppo)/deviazione standard del gruppo, quindi il gruppo di risposte allo stesso prompt funge da linea di base.
GRPO è stato introdotto e reso popolare da DeepSeek, in particolare in DeepSeekMath e come motore RL dietro i modelli di ragionamento DeepSeek-R1.
Una penalità KL rispetto a un modello di riferimento (solitamente il pre-RL) regolarizza la formazione in modo che la politica migliori senza crollare o scivolare in risultati degenerati.
Campionare molte soluzioni e assegnargli un punteggio con controlli automatici di correttezza si abbina perfettamente ai vantaggi normalizzati per gruppo del GRPO, senza bisogno di critiche.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione della politica prossimale
Intelligenza artificiale linguistica