Kvíz spojený s průvodcem · Střední úroveň

Supervize procesu pro kvíz z matematického uvažování

Prozkoumejte zpětnou vazbu procesu a výsledku pomocí štítků PRM800K, výběru kandidátů, dohledu Math-Shepherd a agregace skóre kroků.

Otázka 1 z 8

Where does process supervision provide feedback compared with outcome supervision?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Where does process supervision provide feedback compared with outcome supervision?
    • Only at the physical GPU temperature
    • At intermediate reasoning steps rather than only the final result
    • Only at the document filename
    • Only at an increased vocabulary size
  2. Proč může být supervize zaměřená pouze na výsledek u matematických problémů zavádějící?
    • Je příliš pomalý na výpočet
    • Neumí zpracovat desetinná místa
    • Na každý problém vyžaduje lidské srovnávače
    • Model může dosáhnout správné odpovědi prostřednictvím chybných kroků, které se náhodou zruší
  3. Co OpenAI vydala vedle práce „Pojďme ověřit krok za krokem“?
    • PRM800K, datová sada ~800 000 štítků na úrovni kroku
    • Nová architektura GPU
    • Testovací sada GSM8K
    • Šachový motor
  4. In best-of-N math selection with a process reward model, what does the verifier do?
    • Guarantees that a correct candidate was generated
    • Changes every tokenizer token into a proof axiom
    • Scores generated candidate solutions under the chosen aggregation rule
    • Replaces the original problem with a translation
  5. Jaký přístup snižuje potřebu drahých štítků s lidskými kroky?
    • Úplné zakázání modelu odměny
    • Zavedení Monte Carlo, které automaticky odhaduje hodnotu každého kroku (např. Math-Shepherd)
    • Použijte pouze konečnou odpověď
    • Školení ve více jazycích
  6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
    • Steps that merit closer inspection
    • An infallible location of the first actual error
    • A mathematical proof that all other steps are correct
    • The exact temperature used to sample every token
  7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
    • 0.8
    • 0.85
    • 1.7
    • 0.72
  8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
    • Choosing examples only by alphabetical filename order
    • Removing every incorrect-answer candidate from the labeling pool
    • Active learning that selected informative candidate solutions
    • Using an unlabeled test answer as the final human label