Questionário vinculado ao guia · Médio Nível

Questionário de otimização de política proximal

Revise o recorte de PPO, proporções de políticas, fontes de recompensa, penalidades KL, críticas, vantagens e limites RLHF do modelo de linguagem. Verifique as suposições e o escopo.

Caminhos de guia relacionadosOtimização de Política Proximal
Pergunta 1 de 8

Que problema o 'recorte' do PPO aborda principalmente?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Que problema o 'recorte' do PPO aborda principalmente?
    • Atualizações políticas excessivamente grandes que desestabilizam o treinamento
    • Carregamento lento de dados
    • Limites de tamanho de vocabulário
    • Uso de memória durante inferência
  2. No modelo de linguagem RLHF com PPO, de onde geralmente vem o sinal de recompensa?
    • Pontuação humana direta de cada token
    • Um modelo de recompensa treinado
    • A taxa de aprendizagem do otimizador
    • O tamanho do vocabulário
  3. O que a penalidade de divergência KL faz no RLHF baseado em PPO?
    • Acelera a geração de tokens
    • Aumenta a precisão do modelo de recompensa
    • Evita que o modelo ajustado se afaste muito do modelo de referência
    • Elimina a necessidade de uma rede de valor
  4. Qual é o papel da rede de valor (crítica) no PPO?
    • Para gerar a saída de texto final
    • Para armazenar os dados de treinamento
    • Para substituir totalmente o modelo de recompensa
    • Para estimar o retorno esperado para que as vantagens possam ser calculadas
  5. O que representa a 'vantagem' no PPO?
    • Quão melhor uma ação foi do que a linha de base esperada
    • A contagem total de parâmetros do modelo
    • O intervalo de recorte
    • O coeficiente de penalidade KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized