Cuestionario vinculado a una guía · duro Nivel

Normalización de recompensas agrupadas en el cuestionario RLHF

Descubra cómo GRPO compara respuestas de muestra dentro de un grupo de mensajes, elimina una crítica y utiliza un objetivo estilo PPO para actualizaciones de políticas.

Rutas de guía relacionadasNormalización de recompensas agrupadas en Rlhf
Pregunta 1 de 8

En la normalización de recompensas agrupadas, ¿con qué se compara la recompensa de cada respuesta?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. En la normalización de recompensas agrupadas, ¿con qué se compara la recompensa de cada respuesta?
    • La media y la desviación estándar del grupo de su propio mensaje.
    • Una constante global fija
    • La recompensa de la época anterior.
    • El recuento de parámetros del modelo.
  2. ¿Qué algoritmo está más asociado con la normalización de recompensas agrupadas?
    • Descenso de gradiente estocástico
    • GRPO (optimización de políticas relativas al grupo)
    • K-medias agrupación
    • Propagación hacia atrás
  3. ¿Qué componente de la PPO estándar elimina notablemente la GRPO?
    • El modelo de recompensa
    • La red neuronal por completo
    • La red de valor separada (crítica)
    • Los datos de entrenamiento
  4. ¿Qué sucede con una respuesta cuya recompensa está por debajo de la media de su grupo?
    • Recibe ventaja positiva y se refuerza.
    • Se elimina del conjunto de datos.
    • Su recompensa se duplica
    • Recibe ventaja negativa y se desanima.
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy