Cuestionario vinculado a una guía · Medio Nivel

Prueba de modelos de recompensa de proceso

El proceso de prueba recompensa la puntuación por pasos de los modelos, las etiquetas humanas y automáticas, la reclasificación de soluciones, la búsqueda en árbol y la localización de fallos.

Rutas de guía relacionadasModelos de recompensa de proceso
Pregunta 1 de 8

¿Qué distingue principalmente un modelo de recompensa por proceso de un modelo de recompensa por resultado?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué distingue principalmente un modelo de recompensa por proceso de un modelo de recompensa por resultado?
    • Califica cada paso de razonamiento intermedio, no solo la respuesta final.
    • Corre más rápido en el momento de la inferencia.
    • No requiere datos de entrenamiento
    • Sólo funciona en entradas de imágenes.
  2. ¿Qué conjunto de datos conocido de etiquetas matemáticas de nivel de paso humano está asociado con la investigación de PRM?
    • ImagenNet
    • PRM800K
    • escuadrón
    • WikiTexto
  3. ¿Por qué una señal de recompensa basada únicamente en resultados puede ser engañosa?
    • Las respuestas finales nunca son correctas
    • Los modelos de resultados no pueden leer texto
    • Una respuesta final correcta puede ser el resultado de un razonamiento defectuoso o una respuesta incorrecta de un razonamiento mayoritariamente correcto.
    • Siempre se adapta demasiado a la gramática.
  4. Una forma común de convertir puntuaciones por paso en una puntuación de cadena única es:
    • Añade un número aleatorio a cada paso.
    • Ignora todo excepto el primer paso.
    • Utilice sólo el recuento de tokens
    • Tome la probabilidad mínima de paso a lo largo de la cadena.
  5. ¿Qué utiliza el enfoque Math-Shepherd para etiquetar los pasos automáticamente?
    • Lanzamientos de Monte Carlo que estiman con qué frecuencia un paso conduce a una respuesta correcta
    • Revisión manual de expertos de cada paso.
    • Traducir pasos a otro idioma
    • Contar signos de puntuación
  6. ¿Qué riesgo es especialmente relevante al entrenar modelos frente a un PRM?
    • La modelo se olvida de leer.
    • Hacking de recompensas, donde los pasos parecen buenos para el PRM sin ser realmente correctos
    • El PRM no consume cómputo
    • Los pasos se vuelven imposibles de generar.
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions