Quiz collegato alla guida · Medio Livello

Supervisione del processo per quiz di ragionamento matematico

Esamina il feedback sul processo e sui risultati, con le etichette PRM800K, la selezione dei candidati, la supervisione di Math-Shepherd e l'aggregazione dei punteggi dei passi.

Domanda 1 di 8

Where does process supervision provide feedback compared with outcome supervision?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Where does process supervision provide feedback compared with outcome supervision?
    • Only at the physical GPU temperature
    • At intermediate reasoning steps rather than only the final result
    • Only at the document filename
    • Only at an increased vocabulary size
  2. Perché la supervisione basata solo sui risultati può essere fuorviante per i problemi di matematica?
    • È troppo lento da calcolare
    • Non può gestire i decimali
    • Richiede selezionatori umani per ogni problema
    • Un modello può raggiungere la risposta giusta attraverso passaggi imperfetti che si annullano
  3. Che cosa ha rilasciato OpenAI insieme al lavoro "Verifica passo dopo passo"?
    • PRM800K, un set di dati di circa 800.000 etichette a livello di passo
    • Una nuova architettura GPU
    • Il set di prova GSM8K
    • Un motore di scacchi
  4. In best-of-N math selection with a process reward model, what does the verifier do?
    • Guarantees that a correct candidate was generated
    • Changes every tokenizer token into a proof axiom
    • Scores generated candidate solutions under the chosen aggregation rule
    • Replaces the original problem with a translation
  5. Quale approccio riduce la necessità di costose etichette di passaggi umani?
    • Disabilitare completamente il modello di ricompensa
    • Implementazioni Monte Carlo che stimano automaticamente il valore di ogni passaggio (ad esempio, Math-Shepherd)
    • Usando solo la risposta finale
    • Formazione su più lingue
  6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
    • Steps that merit closer inspection
    • An infallible location of the first actual error
    • A mathematical proof that all other steps are correct
    • The exact temperature used to sample every token
  7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
    • 0,8
    • 0.85
    • 1.7
    • 0.72
  8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
    • Choosing examples only by alphabetical filename order
    • Removing every incorrect-answer candidate from the labeling pool
    • Active learning that selected informative candidate solutions
    • Using an unlabeled test answer as the final human label