Supervisão de Processo para Questionário de Raciocínio Matemático

As respostas e explicações aparecem conforme você responde ao teste.

1. Onde a supervisão de processos fornece feedback em comparação com a supervisão de resultados?
   • Only at the physical GPU temperature
   • At intermediate reasoning steps rather than only the final result
   • Only at the document filename
   • Only at an increased vocabulary size
2. Por que a supervisão baseada apenas em resultados pode ser enganosa para problemas matemáticos?
   • É muito lento para calcular
   • Não pode lidar com decimais
   • Requer avaliadores humanos para cada problema
   • Um modelo pode chegar à resposta certa através de etapas falhas que se anulam
3. O que OpenAI lançou junto com o trabalho 'Vamos verificar passo a passo'?
   • PRM800K, um conjunto de dados de aproximadamente 800.000 rótulos de nível de etapa
   • Uma nova arquitetura de GPU
   • O conjunto de testes GSM8K
   • Um motor de xadrez
4. Na seleção matemática best-of-N com um modelo de recompensa de processo, o que o verificador faz?
   • Guarantees that a correct candidate was generated
   • Changes every tokenizer token into a proof axiom
   • Scores generated candidate solutions under the chosen aggregation rule
   • Replaces the original problem with a translation
5. Qual abordagem reduz a necessidade de rótulos caros de passos humanos?
   • Desativando totalmente o modelo de recompensa
   • Implementações de Monte Carlo que estimam o valor de cada etapa automaticamente (por exemplo, Math-Shepherd)
   • Usando apenas a resposta final
   • Treinamento em mais idiomas
6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
   • Steps that merit closer inspection
   • An infallible location of the first actual error
   • A mathematical proof that all other steps are correct
   • The exact temperature used to sample every token
7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
   • 0.8
   • 0.85
   • 1.7
   • 0.72
8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
   • Choosing examples only by alphabetical filename order
   • Removing every incorrect-answer candidate from the labeling pool
   • Active learning that selected informative candidate solutions
   • Using an unlabeled test answer as the final human label