Questionário vinculado ao guia · Difícil Nível

Normalização de recompensa agrupada no questionário RLHF

Saiba como o GRPO compara amostras de respostas em um grupo de prompts, remove uma crítica e usa um objetivo no estilo PPO para atualizações de políticas.

Caminhos de guia relacionadosNormalização de recompensa agrupada em Rlhf
Pergunta 1 de 8

Na normalização de recompensa agrupada, com o que a recompensa de cada resposta é comparada?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Na normalização de recompensa agrupada, com o que a recompensa de cada resposta é comparada?
    • A média e o desvio padrão do seu próprio grupo de prompts
    • Uma constante global fixa
    • A recompensa da época anterior
    • A contagem de parâmetros do modelo
  2. Qual algoritmo está mais associado à normalização de recompensas agrupadas?
    • Descida gradiente estocástica
    • GRPO (Otimização de Política Relativa de Grupo)
    • Agrupamento K-means
    • Retropropagação
  3. Qual componente do PPO padrão o GRPO elimina notavelmente?
    • O modelo de recompensa
    • A rede neural inteiramente
    • A rede de valor separada (crítico)
    • Os dados de treinamento
  4. O que acontece com uma resposta cuja recompensa está abaixo da média do grupo?
    • Recebe vantagem positiva e é reforçada
    • Ele é excluído do conjunto de dados
    • Sua recompensa é dobrada
    • Recebe vantagem negativa e é desencorajado
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy