Questionário vinculado ao guia · Médio Nível

Questionário sobre modelos de recompensa de processo

Pontuação em nível de etapa dos modelos de recompensa do processo de teste, rótulos humanos e automáticos, reclassificação de soluções, pesquisa em árvore e localização de falhas.

Caminhos de guia relacionadosModelos de recompensa de processo
Pergunta 1 de 8

O que distingue principalmente um modelo de recompensa de processo de um modelo de recompensa de resultado?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que distingue principalmente um modelo de recompensa de processo de um modelo de recompensa de resultado?
    • Ele pontua cada etapa intermediária do raciocínio, não apenas a resposta final
    • Funciona mais rápido no tempo de inferência
    • Não requer dados de treinamento
    • Funciona apenas em entradas de imagem
  2. Que conjunto de dados bem conhecido de rótulos matemáticos de nível humano está associado à pesquisa de PRM?
    • ImageNet
    • PRM800K
    • ESQUADRÃO
    • WikiTexto
  3. Por que um sinal de recompensa baseado apenas no resultado pode ser enganoso?
    • As respostas finais nunca estão corretas
    • Os modelos de resultados não conseguem ler texto
    • Uma resposta final correta pode resultar de um raciocínio falho, ou uma resposta errada de um raciocínio quase correto
    • Sempre se ajusta demais à gramática
  4. Uma maneira comum de transformar pontuações por etapa em uma pontuação de cadeia única é:
    • Adicione um número aleatório a cada etapa
    • Ignore tudo, exceto o primeiro passo
    • Use apenas a contagem de tokens
    • Calcule a probabilidade mínima de passo ao longo da cadeia
  5. O que a abordagem Math-Shepherd usa para rotular as etapas automaticamente?
    • Implementações de Monte Carlo estimando com que frequência uma etapa leva a uma resposta correta
    • Revisão manual especializada de cada etapa
    • Traduzindo etapas para outro idioma
    • Contando sinais de pontuação
  6. Qual risco é especialmente relevante ao treinar modelos contra um PRM?
    • A modelo esquece como ler
    • Hacking de recompensa, onde as etapas parecem boas para o PRM sem serem genuinamente corretas
    • O PRM não consome computação
    • Etapas tornam-se impossíveis de gerar
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions