Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Folyamatfelügyelet a matematikai érvelési kvízhez

Examine process and outcome feedback, with PRM800K labels, candidate selection, Math-Shepherd supervision, and step-score aggregation.

kérdés 1 -ból 8

Where does process supervision provide feedback compared with outcome supervision?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Where does process supervision provide feedback compared with outcome supervision?
    • Only at the physical GPU temperature
    • At intermediate reasoning steps rather than only the final result
    • Only at the document filename
    • Only at an increased vocabulary size
  2. Miért lehet félrevezető a csak eredményre vonatkozó felügyelet a matematikai feladatoknál?
    • Túl lassú a számítás
    • Nem tudja kezelni a tizedesjegyeket
    • Minden problémához emberi osztályozó kell
    • A modell hibás lépéseken keresztül érheti el a helyes választ, amelyek történetesen érvénytelenítik
  3. Mit adott ki a OpenAI az „Ellenőrizzük lépésről lépésre” mellett?
    • PRM800K, ~800 000 lépésszintű címkéből álló adatkészlet
    • Új GPU architektúra
    • A GSM8K tesztkészlet
    • Egy sakkmotor
  4. In best-of-N math selection with a process reward model, what does the verifier do?
    • Guarantees that a correct candidate was generated
    • Changes every tokenizer token into a proof axiom
    • Scores generated candidate solutions under the chosen aggregation rule
    • Replaces the original problem with a translation
  5. Milyen megközelítés csökkenti a drága emberi lépéscímkék szükségességét?
    • A jutalommodell teljes letiltása
    • Monte Carlo-bevezetések, amelyek automatikusan megbecsülik az egyes lépések értékét (pl. Math-Shepherd)
    • Csak a végső választ használva
    • Képzés több nyelven
  6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
    • Steps that merit closer inspection
    • An infallible location of the first actual error
    • A mathematical proof that all other steps are correct
    • The exact temperature used to sample every token
  7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
    • 0.8
    • 0.85
    • 1.7
    • 0.72
  8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
    • Choosing examples only by alphabetical filename order
    • Removing every incorrect-answer candidate from the labeling pool
    • Active learning that selected informative candidate solutions
    • Using an unlabeled test answer as the final human label