क्या है? ध्यान तंत्र?

मॉडल का वह घटक जो इनपुट को अव्यक्त अभ्यावेदन में परिवर्तित करता है।

एक ट्रांसफार्मर तंत्र जो विभिन्न प्रकार के रिश्तों को पकड़ने के लिए समानांतर में कई ध्यान संचालन चलाता है।

एक स्थितीय पूर्वाग्रह विधि जो टोकन दूरी के आधार पर ध्यान स्कोर को दंडित करती है, जिससे मॉडलों को लंबे संदर्भों में मदद मिलती है।

एक कार्य जहां एक मॉडल एक या अधिक पूर्वनिर्धारित श्रेणियों के लिए इनपुट निर्दिष्ट करता है।

एक भाषा मॉडल एक बार में इनपुट टोकन की अधिकतम मात्रा संसाधित कर सकता है।

समय के साथ वास्तविक दुनिया के इनपुट डेटा में बदलाव जो मॉडल के प्रदर्शन को ख़राब कर सकता है।