Quiz collegato alla guida · Medio Livello
Supervisione del processo per quiz di ragionamento matematico
Esamina il feedback sul processo e sui risultati, con le etichette PRM800K, la selezione dei candidati, la supervisione di Math-Shepherd e l'aggregazione dei punteggi dei passi.
Domanda 1 di 8
Where does process supervision provide feedback compared with outcome supervision?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Where does process supervision provide feedback compared with outcome supervision?
- Only at the physical GPU temperature
- At intermediate reasoning steps rather than only the final result
- Only at the document filename
- Only at an increased vocabulary size
- Perché la supervisione basata solo sui risultati può essere fuorviante per i problemi di matematica?
- È troppo lento da calcolare
- Non può gestire i decimali
- Richiede selezionatori umani per ogni problema
- Un modello può raggiungere la risposta giusta attraverso passaggi imperfetti che si annullano
- Che cosa ha rilasciato OpenAI insieme al lavoro "Verifica passo dopo passo"?
- PRM800K, un set di dati di circa 800.000 etichette a livello di passo
- Una nuova architettura GPU
- Il set di prova GSM8K
- Un motore di scacchi
- In best-of-N math selection with a process reward model, what does the verifier do?
- Guarantees that a correct candidate was generated
- Changes every tokenizer token into a proof axiom
- Scores generated candidate solutions under the chosen aggregation rule
- Replaces the original problem with a translation
- Quale approccio riduce la necessità di costose etichette di passaggi umani?
- Disabilitare completamente il modello di ricompensa
- Implementazioni Monte Carlo che stimano automaticamente il valore di ogni passaggio (ad esempio, Math-Shepherd)
- Usando solo la risposta finale
- Formazione su più lingue
- What can low step-level verifier scores usefully indicate to someone reviewing a solution?
- Steps that merit closer inspection
- An infallible location of the first actual error
- A mathematical proof that all other steps are correct
- The exact temperature used to sample every token
- For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
- 0,8
- 0.85
- 1.7
- 0.72
- Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
- Choosing examples only by alphabetical filename order
- Removing every incorrect-answer candidate from the labeling pool
- Active learning that selected informative candidate solutions
- Using an unlabeled test answer as the final human label