क्या है? उपस्थिति दंड?

एक डिकोडिंग सेटिंग जो टोकन की संभावना को आनुपातिक रूप से कम कर देती है कि वे अब तक कितनी बार दिखाई दिए हैं।

एक डिकोडिंग सेटिंग जो लूप को कम करने के लिए मॉडल द्वारा पहले ही उत्पादित टोकन की संभावना को कम कर देती है।

एक डिकोडिंग रणनीति जो केवल k के सबसे संभावित अगले टोकन से नमूने लेती है।

एक पीढ़ी की रणनीति जो आउटपुट टोकन को वैध संरचनाओं या नीति-अनुपालक विकल्पों तक सीमित करती है।

एक अनुमान त्वरण विधि जहां एक छोटा ड्राफ्ट मॉडल टोकन प्रस्तावित करता है जिसे एक बड़ा मॉडल समानांतर में सत्यापित करता है।

पिछले टोकन से संग्रहीत कुंजी और मूल्य टेंसर जो ट्रांसफार्मर को पिछले ध्यान की पुनर्गणना किए बिना नए टोकन उत्पन्न करने देते हैं।