वरीयता अनुकूलन में लंबाई सामान्यीकरण

यह मायने रखता है क्योंकि सही न किए गए इनाम सिग्नल चैटबॉट्स को वास्तव में बेहतर प्रतिक्रियाओं के बजाय क्रियात्मक, गद्देदार प्रतिक्रियाओं की ओर धकेलते हैं।

जब मॉडल को आरएलएचएफ या डीपीओ जैसी विधियों के साथ संरेखित किया जाता है, तो वे उन तुलनाओं से सीखते हैं जहां मनुष्यों (या एक इनाम मॉडल) ने दो उत्तरों में से 'बेहतर' को चुना। एक लगातार बग यह है कि लंबे उत्तरों को प्राथमिकता दी जाती है, भले ही वे वास्तव में बेहतर न हों, इसलिए मॉडल शॉर्टकट सीखता है: शब्दाडंबरपूर्ण बनें। लंबाई सामान्यीकरण इसका प्रतिकार करता है। डीपीओ में अंतर्निहित इनाम प्रति-टोकन लॉग-संभावना अंतर का योग है, जो यांत्रिक रूप से लंबाई के साथ बढ़ता है। लंबाई-सामान्यीकृत डीपीओ और सिमपीओ जैसे वेरिएंट उस इनाम को टोकन की संख्या से विभाजित करते हैं, इसके बजाय प्रति-टोकन औसत पर स्कोर करते हैं। परिणाम ऐसे मॉडल हैं जो उद्देश्य को पूरा करने के लिए प्रतिक्रियाओं को बढ़ाने के बजाय संक्षिप्त और ऑन-पॉइंट रहते हैं।