Cuestionario vinculado a una guía · duro Nivel

Prueba de optimización de políticas relativas al grupo

Aplique la normalización de recompensas grupales de GRPO, la eliminación de críticos y la regularización de políticas de referencia, incluido lo que significan las ventajas relativas en un solo mensaje.

Rutas de guía relacionadasOptimización de políticas relativas al grupo
Pregunta 1 de 8

Which separately learned estimator does the original GRPO approach avoid training?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. ¿Cómo calcula GRPO la ventaja para una finalización determinada?
    • Consultando un valor aprendido en cada token
    • Usando la recompensa cruda sin normalización
    • Comparándolo con las terminaciones de un mensaje diferente
    • Al estandarizar su recompensa con la media y la desviación estándar de su grupo de compleciones entre hermanos.
  3. ¿Qué modelos dieron fama a GRPO?
    • Modelos de razonamiento DeepSeekMath y DeepSeek-R1 de DeepSeek
    • Serie GPT-2 de OpenAI
    • BERT original de Google
    • Modelos base Llama 2 de Meta
  4. ¿Qué papel juega el término de divergencia KL en GRPO?
    • Genera el grupo de terminaciones.
    • Reemplaza el modelo de recompensa.
    • Evita que la política entrenada se aleje demasiado de un modelo de referencia congelado.
    • Calcula la estimación del valor por token.
  5. ¿Por qué GRPO es especialmente atractivo para entrenar modelos de razonamiento en matemáticas o código?
    • No requiere ninguna señal de recompensa
    • Sólo funciona con etiquetas de preferencias humanas.
    • No puede utilizar terminaciones de muestra.
    • Funciona de forma natural con recompensas verificables y basadas en reglas (por ejemplo, si la respuesta coincidió o si se aprobaron las pruebas) puntuadas en un grupo de soluciones de muestra.
  6. ¿Cuál es un sesgo conocido que el trabajo de seguimiento (como el del Dr. GRPO) intenta corregir en el GRPO básico?
    • Una tendencia a ignorar la recompensa por completo.
    • Sesgos de duración y dificultad introducidos por cómo se normalizan las recompensas
    • Incapacidad para muestrear más de una finalización.
    • Un requisito para una enorme red de críticos
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks