A continuaciónSiguiente guía
Optimización de políticas próximas
Idioma IA
GUÍA Técnica
Optimización de políticas relativas al grupo
La optimización de políticas relativas al grupo (GRPO) es un método de aprendizaje por refuerzo para ajustar los modelos de lenguaje que juzga cada respuesta frente a un grupo de respuestas de hermanos al mismo mensaje, eliminando la red de valores separados utilizada por PPO.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
It became famous as the core training trick behind DeepSeek's reasoning models.
Buceo profundo
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Implementación en el mundo real
Entrenamiento de DeepSeek-R1 y DeepSeekMath para producir razonamientos de larga cadena de pensamiento utilizando recompensas de corrección basadas en reglas en problemas matemáticos
Ajustar los modelos de generación de código donde cada solución de muestra se califica según si pasa las pruebas unitarias y el grupo se normaliza para elegir a los ganadores.
Canalizaciones RLHF de código abierto (por ejemplo, en bibliotecas TRL y verl) que utilizan GRPO para alinear modelos de chat sin pagar por una red de valor separada
Mejorar el seguimiento de instrucciones o el comportamiento de seguridad al muestrear varias respuestas por mensaje y recompensar aquellas que un modelo de recompensa califica más alto en relación con sus pares.
El futuro de la optimización de políticas relativas al grupo
GRPO se ha convertido rápidamente en una receta predeterminada para entrenar modelos de razonamiento abierto y los laboratorios están iterando en sus puntos débiles. Los investigadores están explorando soluciones para los sesgos de longitud y dificultad (como el Dr. GRPO), la normalización a nivel de token en lugar de a nivel de secuencia, y eliminando o remodelando el término KL. Espere una integración más estrecha con recompensas verificables (matemáticas, código, uso de herramientas), un mejor manejo de señales dispersas e híbridos que combinan líneas de base grupales con críticas ligeras para tareas agentes de varios pasos.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Group Relative Policy Optimization quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is Group Relative Policy Optimization?
La optimización de políticas relativas al grupo (GRPO) es un método de aprendizaje por refuerzo para ajustar los modelos de lenguaje que juzga cada respuesta frente a un grupo de respuestas de hermanos al mismo mensaje, eliminando la red de valores separados utilizada por PPO. Se hizo famoso como el truco de entrenamiento central detrás de los modelos de razonamiento de DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
¿Cómo calcula GRPO la ventaja para una finalización determinada?
La ventaja de cada finalización es (recompensa - media del grupo) / desviación estándar del grupo, por lo que el grupo de respuestas al mismo mensaje actúa como línea de base.
¿Qué modelos dieron fama a GRPO?
GRPO fue introducido y popularizado por DeepSeek, especialmente en DeepSeekMath y como motor RL detrás de los modelos de razonamiento DeepSeek-R1.
¿Qué papel juega el término de divergencia KL en GRPO?
Una penalización de KL contra un modelo de referencia (generalmente el anterior a RL) regulariza la capacitación para que la política mejore sin colapsar o derivar hacia resultados degenerados.
¿Por qué GRPO es especialmente atractivo para entrenar modelos de razonamiento en matemáticas o código?
Tomar muestras de muchas soluciones y calificarlas con comprobaciones automáticas de corrección se combina perfectamente con las ventajas normalizadas por grupo de GRPO, sin necesidad de críticas.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.