तापमान और नमूनाकरण

They decide whether you get the same predictable answer every time or fresh, varied phrasing.

प्रत्येक चरण में, एक भाषा मॉडल किसी शब्द को सीधे आउटपुट नहीं करता है - यह अपनी शब्दावली में प्रत्येक टोकन के लिए एक स्कोर (एक 'लॉगिट') उत्पन्न करता है, जिसे सॉफ्टमैक्स संभाव्यता वितरण में बदल देता है। नमूनाकरण यह है कि उस वितरण से अगला टोकन कैसे चुना जाता है। तापमान चुनने से पहले वितरण को नया आकार देता है: कम तापमान शीर्ष विकल्पों पर हावी हो जाता है, इसलिए आउटपुट केंद्रित और दोहराने योग्य होता है; उच्च तापमान इसे समतल कर देता है, जिससे असंभावित टोकन अधिक विविधता (और अधिक त्रुटियों) के लिए खिसक जाते हैं। दो लोकप्रिय फ़िल्टर पहले पूल को संकीर्ण करते हैं। टॉप-के केवल के उच्चतम-संभावना वाले टोकन रखता है। टॉप-पी, या न्यूक्लियस सैंपलिंग, टोकन का सबसे छोटा सेट रखता है जिसकी संभावनाएं पी (मान लीजिए 0.9) तक जुड़ जाती हैं, इसलिए जब मॉडल अनिश्चित होता है तो पूल बढ़ता है और आश्वस्त होने पर सिकुड़ जाता है। साथ में ये सेटिंग्स रचनात्मकता के विरुद्ध विश्वसनीयता का व्यापार करती हैं।