Questionário vinculado ao guia · Médio Nível

Questionário de modelagem de recompensa

Teste as pontuações do modelo de recompensa, dados de preferência, perda de classificação em pares, hacking de recompensa e uso do melhor de N em RLHF. Verifique as suposições e o escopo.

Caminhos de guia relacionadosModelagem de recompensa
Pergunta 1 de 8

Qual é o resultado principal de um modelo de recompensa para um determinado par de resposta imediata?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é o resultado principal de um modelo de recompensa para um determinado par de resposta imediata?
    • Uma única pontuação escalar
    • Uma resposta em texto completo
    • Uma distribuição de probabilidade sobre o vocabulário
    • Uma lista de tokens preferenciais
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. O que a perda do modelo de recompensa padrão otimiza?
    • O valor absoluto da recompensa de cada resposta
    • A precisão da previsão do próximo token
    • Que a resposta escolhida tenha pontuação superior à rejeitada
    • A duração das respostas
  4. O que é 'hackeamento de recompensa'?
    • Roubando o modelo de recompensa de um concorrente
    • Um método para acelerar o treinamento
    • Criptografando o sinal de recompensa
    • A política que explora falhas no modelo de recompensa para obter pontuações altas sem qualidade genuína
  5. Como um modelo de recompensa é derivado arquitetonicamente de um modelo de linguagem?
    • Substituindo o cabeçote de previsão de token por um único cabeçote de saída escalar
    • Adicionando mais camadas de atenção
    • Removendo todas as camadas do transformador
    • Ao duplicar o vocabulário
  6. Como um modelo de recompensa é usado no momento da inferência na amostragem melhor de N?
    • Treinando N modelos de recompensa em paralelo
    • Gerando múltiplas respostas e usando o modelo de recompensa para escolher a de maior pontuação
    • Selecionando os N tokens mais comuns
    • Média de N pontos de verificação do modelo
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons