बेस्ट-ऑफ-एन सैंपलिंग और रीरैंकिंग

It is one of the simplest, most reliable ways to trade extra compute at inference time for higher answer quality.

हर बार जब आप इसे चलाते हैं तो नमूनाकरण वाला एक भाषा मॉडल अलग-अलग आउटपुट उत्पन्न करता है। बेस्ट-ऑफ-एन इसका फायदा उठाता है: आप एन उम्मीदवार की प्रतिक्रियाएँ निकालते हैं, फिर उन्हें फिर से रैंक करते हैं और शीर्ष पर वापस आते हैं। पुनर्रैंकर एक सीखा हुआ इनाम मॉडल (मानव प्रतिक्रिया से सुदृढीकरण सीखने में आम), एक सत्यापनकर्ता जो शुद्धता की जांच करता है, या बहुमत मतदान के माध्यम से उत्तर समझौते की तरह एक सरल अनुमानी हो सकता है। क्योंकि मॉडल को कई में से केवल एक अच्छे प्रयास की आवश्यकता होती है, जैसे-जैसे एन बढ़ता है गुणवत्ता अक्सर तेजी से बढ़ती है, खासकर तर्क और कोड कार्यों पर जहां एक सही पथ मौजूद होता है लेकिन हमेशा पहला नमूना नहीं होता है। लागत एन में रैखिक है, और यदि स्कोरर अपूर्ण है तो लाभ अंततः स्थिर हो जाता है या उलट भी जाता है, एक विफलता मोड जिसे रिवॉर्ड हैकिंग या रिवॉर्ड ओवर-ऑप्टिमाइज़ेशन कहा जाता है।