क्या है? उपयोग-आधारित बिलिंग?

प्रत्येक प्रतिक्रिया उत्पन्न करते समय उपभोग की गई प्रसंस्करण शक्ति की मात्रा।

गुणवत्ता या तर्क में सुधार के लिए प्रतिक्रिया निर्माण के दौरान अतिरिक्त अनुमान गणना का उपयोग किया जाता है।

एक अनुमान त्वरण विधि जहां एक छोटा ड्राफ्ट मॉडल टोकन प्रस्तावित करता है जिसे एक बड़ा मॉडल समानांतर में सत्यापित करता है।

एक ध्यान पैटर्न जहां प्रत्येक टोकन गणना को कम करने के लिए केवल पास के टोकन की एक निश्चित आकार की विंडो पर ध्यान केंद्रित करता है।

रनटाइम चरण जहां एक प्रशिक्षित मॉडल भविष्यवाणियां या आउटपुट उत्पन्न करता है।

एक विधि जो बाहरी ज्ञान को पुनः प्राप्त करती है और उसे अनुमान के समय पीढ़ी में फीड करती है।