क्या है? टॉप-के नमूनाकरण?

एक डिकोडिंग रणनीति जो सबसे छोटे टोकन सेट से नमूने लेती है जिनकी संभावनाओं का योग पी होता है।

एक पीढ़ी की रणनीति जो आउटपुट टोकन को वैध संरचनाओं या नीति-अनुपालक विकल्पों तक सीमित करती है।

केवल कुछ उदाहरणों से व्यवहार सीखना या अपनाना।

एक भाषा-मॉडल मीट्रिक यह मापता है कि मॉडल अगले टोकन के द्वारा कितना आश्चर्यचकित है।

एक अनुमान त्वरण विधि जहां एक छोटा ड्राफ्ट मॉडल टोकन प्रस्तावित करता है जिसे एक बड़ा मॉडल समानांतर में सत्यापित करता है।

पिछले टोकन से संग्रहीत कुंजी और मूल्य टेंसर जो ट्रांसफार्मर को पिछले ध्यान की पुनर्गणना किए बिना नए टोकन उत्पन्न करने देते हैं।