मानव प्रतिक्रिया से सुदृढीकरण सीखना

आरएलएचएफ वह तकनीक है जो एक अपरिष्कृत भाषा मॉडल को मानवीय प्राथमिकताओं पर प्रशिक्षित करके एक सहायक, विनम्र सहायक में बदल देती है। यह मायने रखता है क्योंकि यह मॉडल व्यवहार को उस चीज़ के साथ संरेखित करता है जो लोग वास्तव में चाहते हैं, न कि केवल उस चीज़ के साथ जो सांख्यिकीय रूप से संभावित है।

आरएलएचएफ उन प्रतिक्रियाओं के प्रति एक मॉडल तैयार करता है जो मनुष्य पसंद करते हैं, इसे केवल प्रशंसनीय के बजाय अधिक उपयोगी, ईमानदार और सुरक्षित बनाते हैं।

इनाम मॉडल को मानव वरीयता तुलनाओं पर प्रशिक्षित किया जाता है ताकि प्रतिक्रियाएँ स्कोर की जा सकें, जिससे नीति को अनुकूलित करने वाले संकेत मिलते हैं।

केएल जुर्माना अनुकूलित नीति को संदर्भ मॉडल के करीब रखता है, इनाम हैकिंग और प्रवाह के नुकसान से बचाता है।

व्याख्याकार जोड़ीवार तुलनाओं में पसंदीदा प्रतिक्रिया चुनते हैं, जो ब्रैडली-टेरी-शैली के नुकसान के माध्यम से इनाम मॉडल को प्रशिक्षित करता है।

डीपीओ अलग-अलग इनाम मॉडल और अस्पष्ट सुदृढीकरण सीखने के चरण से बचते हुए, सीधे प्राथमिकताओं से उद्देश्य प्राप्त करता है।