गणित रीज़निंग के लिए प्रक्रिया पर्यवेक्षण

For math, where one wrong move ruins everything, grading the work itself produces far more reliable solvers.

अधिकांश इनाम मॉडल केवल अंतिम उत्तर (परिणाम पर्यवेक्षण) स्कोर करते हैं। यह एक मॉडल को 'भाग्यशाली होने' की सुविधा देता है - त्रुटिपूर्ण कदमों के माध्यम से सही संख्या तक पहुंचना जो रद्द हो जाता है। इसके बजाय प्रक्रिया पर्यवेक्षण मानव या एआई लेबल पर एक प्रक्रिया पुरस्कार मॉडल (पीआरएम) को प्रशिक्षित करता है जो प्रत्येक मध्यवर्ती चरण को सही, गलत या तटस्थ के रूप में चिह्नित करता है। OpenAI के 2023 'आइए चरण दर चरण सत्यापित करें' पेपर ने PRM800K जारी किया, MATH समस्याओं पर लगभग 800,000 चरण-स्तरीय लेबल, और एक प्रक्रिया-पर्यवेक्षित सत्यापनकर्ता ने कमजोर परिणाम-केवल आधार रेखा के मुकाबले परीक्षण उपसमूह के 78% को हल किया। पीआरएम का उपयोग कई नमूना समाधानों को रैंक करने के लिए किया जाता है, जिसमें उच्चतम न्यूनतम चरण स्कोर वाली श्रृंखला का चयन किया जाता है। यह व्याख्या योग्य प्रतिक्रिया भी देता है: आप ठीक-ठीक देख सकते हैं कि तर्क कहाँ टूटता है।