แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
การควบคุมกระบวนการสำหรับแบบทดสอบการใช้เหตุผลทางคณิตศาสตร์
ตรวจสอบกระบวนการและข้อเสนอแนะผลลัพธ์ด้วยป้ายกำกับ PRM800K การคัดเลือกผู้สมัคร การควบคุมดูแล Math-Shepherd และการรวมคะแนนขั้นตอน
คำถาม 1 ของ 8
Where does process supervision provide feedback compared with outcome supervision?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Where does process supervision provide feedback compared with outcome supervision?
- Only at the physical GPU temperature
- At intermediate reasoning steps rather than only the final result
- Only at the document filename
- Only at an increased vocabulary size
- เหตุใดการควบคุมดูแลเฉพาะผลลัพธ์อาจทำให้เข้าใจผิดกับปัญหาทางคณิตศาสตร์ได้
- มันช้าเกินไปที่จะคำนวณ
- ไม่สามารถจัดการทศนิยมได้
- มันต้องมีผู้ให้คะแนนที่เป็นมนุษย์สำหรับทุกปัญหา
- แบบจำลองสามารถเข้าถึงคำตอบที่ถูกต้องผ่านขั้นตอนที่มีข้อบกพร่องซึ่งเกิดขึ้นจนเกิดการยกเลิก
- OpenAI เปิดตัวควบคู่ไปกับ "มายืนยันทีละขั้นตอน" บ้าง
- PRM800K ชุดข้อมูลที่มีป้ายกำกับระดับขั้นตอน ~800,000 รายการ
- สถาปัตยกรรม GPU ใหม่
- ชุดทดสอบ GSM8K
- เครื่องยนต์หมากรุก
- In best-of-N math selection with a process reward model, what does the verifier do?
- Guarantees that a correct candidate was generated
- Changes every tokenizer token into a proof axiom
- Scores generated candidate solutions under the chosen aggregation rule
- Replaces the original problem with a translation
- แนวทางใดช่วยลดความจำเป็นในการติดฉลากขั้นตอนของมนุษย์ที่มีราคาแพง
- ปิดการใช้งานรูปแบบการให้รางวัลโดยสิ้นเชิง
- การเปิดตัว Monte Carlo ที่ประมาณมูลค่าของแต่ละขั้นตอนโดยอัตโนมัติ (เช่น Math-Shepherd)
- โดยใช้เพียงคำตอบสุดท้ายเท่านั้น
- การฝึกอบรมเกี่ยวกับภาษาเพิ่มเติม
- What can low step-level verifier scores usefully indicate to someone reviewing a solution?
- Steps that merit closer inspection
- An infallible location of the first actual error
- A mathematical proof that all other steps are correct
- The exact temperature used to sample every token
- For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
- 0.8
- 0.85
- 1.7
- 0.72
- Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
- Choosing examples only by alphabetical filename order
- Removing every incorrect-answer candidate from the labeling pool
- Active learning that selected informative candidate solutions
- Using an unlabeled test answer as the final human label