क्या है? सट्टा डिकोडिंग?

मूल्य निर्धारण जहां लागत एपीआई कॉल, टोकन, अनुमान समय या उपभोग गणना के साथ मापी जाती है।

एक ध्यान पैटर्न जहां प्रत्येक टोकन गणना को कम करने के लिए केवल पास के टोकन की एक निश्चित आकार की विंडो पर ध्यान केंद्रित करता है।

रनटाइम चरण जहां एक प्रशिक्षित मॉडल भविष्यवाणियां या आउटपुट उत्पन्न करता है।

एक विधि जो बाहरी ज्ञान को पुनः प्राप्त करती है और उसे अनुमान के समय पीढ़ी में फीड करती है।

एक डिकोडिंग रणनीति जो केवल k के सबसे संभावित अगले टोकन से नमूने लेती है।

एक छोटे मॉडल को अनुमान के समय कम गणना का उपयोग करते हुए बड़े मॉडल के व्यवहार की नकल करने के लिए प्रशिक्षित किया गया।