Normalización de recompensas agrupadas en RLHF
La normalización de recompensas agrupadas estandariza las recompensas de un modelo dentro de un lote de respuestas al mismo mensaje, convirtiendo puntuaciones ruidosas en una señal de entrenamiento estable.
Descripción general
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
Buceo profundo
En el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), un modelo genera respuestas y un modelo de recompensa las califica, pero las recompensas brutas son ruidosas y varían enormemente según las indicaciones. La normalización de recompensas agrupadas soluciona este problema muestreando un grupo de varias respuestas al mismo mensaje y luego normalizando cada recompensa restando la media del grupo y dividiéndola por la desviación estándar del grupo. Esta puntuación z se convierte en la ventaja. El enfoque es fundamental para la optimización de políticas relativas al grupo (GRPO), introducida por DeepSeek, que impulsó el razonamiento de DeepSeek-R1. Fundamentalmente, GRPO elimina la red de valores separada (crítica) utilizada por PPO, ya que el promedio del grupo sirve como base. Esto hace que el entrenamiento sea más simple, más económico y más eficiente en cuanto a memoria, al mismo tiempo que mantiene la señal de gradiente bien escalada.
Información técnica
Para un grupo de resultados con recompensas r_1...r_G, la ventaja es A_i = (r_i − mean(r)) / std(r). Las respuestas mejores que el promedio de su grupo obtienen una ventaja positiva y son reforzadas; los peores que el promedio son derribados. Debido a que la comparación es relativa dentro de un mensaje, la escala de recompensa absoluta y la dificultad por mensaje se cancelan, lo que reduce la variación. GRPO mantiene el objetivo recortado de PPO y la penalización de KL frente a una política de referencia para evitar que el modelo se desvíe demasiado.
Impacto Estratégico
Decisiones más claras
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Costo y presupuesto
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Equipo y flujo de trabajo
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
El futuro de la normalización de recompensas agrupadas en RLHF
La normalización agrupada está alimentando el auge de los modelos de razonamiento, donde los modelos aprenden de recompensas verificables como respuestas matemáticas correctas sin un crítico erudito. La investigación lo está perfeccionando: debates sobre si dividir por desviación estándar, cómo manejar grupos completamente correctos o incorrectos que producen ventaja cero y escalar el tamaño del grupo. Espere que los métodos agrupados y libres de críticas se extiendan al uso de herramientas agentes y a la generación de códigos, donde los verificadores automáticos proporcionan señales de recompensa abundantes y económicas.
Implementación en el mundo real
Entrenar un modelo de razonamiento matemático tomando muestras de 16 soluciones por problema y recompensando aquellas que estén por encima del promedio de corrección del grupo.
Ajustar la utilidad de un chatbot normalizando las puntuaciones del modelo de recompensa en las respuestas de varios candidatos a cada mensaje de usuario.
Mejora de un asistente de codificación donde cada solución muestreada se califica según si pasa las pruebas unitarias y luego se normaliza dentro del grupo.
Reducir la memoria de la GPU en una canalización RLHF eliminando la red crítica de PPO y utilizando la media del grupo como línea de base.
Riesgos y barandillas
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Hoja de ruta de implementación
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayuda la normalización de recompensas agrupadas en RLHF y dónde son mejores los métodos más simples.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Normalización de longitud en optimización de preferencias
Preguntas frecuentes
What is Grouped Reward Normalization in RLHF?
La normalización de recompensas agrupadas estandariza las recompensas de un modelo dentro de un lote de respuestas al mismo mensaje, convirtiendo puntuaciones ruidosas en una señal de entrenamiento estable. Es el truco central detrás de GRPO, el algoritmo que impulsa muchos modelos de razonamiento modernos.
En la normalización de recompensas agrupadas, ¿con qué se compara la recompensa de cada respuesta?
Cada recompensa se convierte en una puntuación z utilizando la media y la desviación estándar del grupo de respuestas al mismo mensaje.
¿Qué algoritmo está más asociado con la normalización de recompensas agrupadas?
GRPO, introducido por DeepSeek y utilizado en DeepSeek-R1, se basa en la normalización de recompensas dentro de un grupo.
¿Qué componente de la PPO estándar elimina notablemente la GRPO?
Al utilizar el promedio del grupo como base, GRPO elimina el crítico aprendido, ahorrando memoria y computación.
¿Qué sucede con una respuesta cuya recompensa está por debajo de la media de su grupo?
Restar la media del grupo hace que las respuestas por debajo del promedio tengan una ventaja negativa, alejando la política de ellas.
¿Por qué la normalización dentro de un grupo reduce la variación del entrenamiento?
Debido a que las comparaciones son relativas dentro de cada tema, las diferencias en la escala absoluta y la dificultad del tema desaparecen.