แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

การควบคุมกระบวนการสำหรับแบบทดสอบการใช้เหตุผลทางคณิตศาสตร์

ตรวจสอบกระบวนการและข้อเสนอแนะผลลัพธ์ด้วยป้ายกำกับ PRM800K การคัดเลือกผู้สมัคร การควบคุมดูแล Math-Shepherd และการรวมคะแนนขั้นตอน

คำถาม 1 ของ 8

Where does process supervision provide feedback compared with outcome supervision?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Where does process supervision provide feedback compared with outcome supervision?
    • Only at the physical GPU temperature
    • At intermediate reasoning steps rather than only the final result
    • Only at the document filename
    • Only at an increased vocabulary size
  2. เหตุใดการควบคุมดูแลเฉพาะผลลัพธ์อาจทำให้เข้าใจผิดกับปัญหาทางคณิตศาสตร์ได้
    • มันช้าเกินไปที่จะคำนวณ
    • ไม่สามารถจัดการทศนิยมได้
    • มันต้องมีผู้ให้คะแนนที่เป็นมนุษย์สำหรับทุกปัญหา
    • แบบจำลองสามารถเข้าถึงคำตอบที่ถูกต้องผ่านขั้นตอนที่มีข้อบกพร่องซึ่งเกิดขึ้นจนเกิดการยกเลิก
  3. OpenAI เปิดตัวควบคู่ไปกับ "มายืนยันทีละขั้นตอน" บ้าง
    • PRM800K ชุดข้อมูลที่มีป้ายกำกับระดับขั้นตอน ~800,000 รายการ
    • สถาปัตยกรรม GPU ใหม่
    • ชุดทดสอบ GSM8K
    • เครื่องยนต์หมากรุก
  4. In best-of-N math selection with a process reward model, what does the verifier do?
    • Guarantees that a correct candidate was generated
    • Changes every tokenizer token into a proof axiom
    • Scores generated candidate solutions under the chosen aggregation rule
    • Replaces the original problem with a translation
  5. แนวทางใดช่วยลดความจำเป็นในการติดฉลากขั้นตอนของมนุษย์ที่มีราคาแพง
    • ปิดการใช้งานรูปแบบการให้รางวัลโดยสิ้นเชิง
    • การเปิดตัว Monte Carlo ที่ประมาณมูลค่าของแต่ละขั้นตอนโดยอัตโนมัติ (เช่น Math-Shepherd)
    • โดยใช้เพียงคำตอบสุดท้ายเท่านั้น
    • การฝึกอบรมเกี่ยวกับภาษาเพิ่มเติม
  6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
    • Steps that merit closer inspection
    • An infallible location of the first actual error
    • A mathematical proof that all other steps are correct
    • The exact temperature used to sample every token
  7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
    • 0.8
    • 0.85
    • 1.7
    • 0.72
  8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
    • Choosing examples only by alphabetical filename order
    • Removing every incorrect-answer candidate from the labeling pool
    • Active learning that selected informative candidate solutions
    • Using an unlabeled test answer as the final human label