GUIDA TECNICA

Ottimizzazione della politica relativa del gruppo

Group Relative Policy Optimization (GRPO) è un metodo di apprendimento per rinforzo per mettere a punto i modelli linguistici che giudica ciascuna risposta rispetto a un gruppo di risposte di pari livello allo stesso prompt, eliminando la rete di valori separata utilizzata da PPO.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell’ottimizzazione della politica relativa di gruppo
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

Divenne famoso come il trucco di allenamento fondamentale dietro i modelli di ragionamento di DeepSeek.

Immersione profonda

GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.

Implementazione nel mondo reale

Addestrare DeepSeek-R1 e DeepSeekMath per produrre ragionamenti basati su una lunga catena di pensiero utilizzando premi per la correttezza basati su regole su problemi di matematica

Ottimizzazione dei modelli di generazione del codice in cui a ciascuna soluzione campionata viene assegnato un punteggio in base al superamento dei test unitari e il gruppo viene normalizzato per scegliere i vincitori

Pipeline RLHF open source (ad esempio, nelle librerie TRL e verl) che utilizzano GRPO per allineare i modelli di chat senza pagare per una rete di valore separata

Migliorare il rispetto delle istruzioni o il comportamento di sicurezza campionando diverse risposte per prompt e premiando quelle che un modello di ricompensa valuta più alto rispetto ai loro pari

Il futuro dell’ottimizzazione della politica relativa di gruppo

Il GRPO è rapidamente diventato una ricetta predefinita per l’addestramento di modelli di ragionamento aperto e i laboratori stanno lavorando sui suoi punti deboli. I ricercatori stanno esplorando soluzioni per i bias di lunghezza e difficoltà (come Dr. GRPO), normalizzazione a livello di token piuttosto che a livello di sequenza e rimozione o rimodellamento del termine KL. Aspettatevi un'integrazione più stretta con ricompense verificabili (matematica, codice, utilizzo di strumenti), una migliore gestione di segnali sparsi e ibridi che combinino linee di base di gruppo con critici leggeri per attività agentiche in più fasi.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Group Relative Policy Optimization quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è l'ottimizzazione delle politiche relative di gruppo?

Group Relative Policy Optimization (GRPO) è un metodo di apprendimento per rinforzo per mettere a punto i modelli linguistici che giudica ciascuna risposta rispetto a un gruppo di risposte di pari livello allo stesso prompt, eliminando la rete di valori separata utilizzata da PPO. È diventato famoso come il trucco di allenamento fondamentale dietro i modelli di ragionamento di DeepSeek.

Which separately learned estimator does the original GRPO approach avoid training?

GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.

In che modo GRPO calcola il vantaggio per un determinato completamento?

Il vantaggio di ogni completamento è (ricompensa - media del gruppo)/deviazione standard del gruppo, quindi il gruppo di risposte allo stesso prompt funge da linea di base.

Quali modelli hanno reso famosa la GRPO?

GRPO è stato introdotto e reso popolare da DeepSeek, in particolare in DeepSeekMath e come motore RL dietro i modelli di ragionamento DeepSeek-R1.

Che ruolo gioca il termine di divergenza KL nel GRPO?

Una penalità KL rispetto a un modello di riferimento (solitamente il pre-RL) regolarizza la formazione in modo che la politica migliori senza crollare o scivolare in risultati degenerati.

Perché GRPO è particolarmente interessante per addestrare modelli di ragionamento su matematica o codice?

Campionare molte soluzioni e assegnargli un punteggio con controlli automatici di correttezza si abbina perfettamente ai vantaggi normalizzati per gruppo del GRPO, senza bisogno di critiche.