क्या है? छँटाई?

एक ध्यान पैटर्न जहां प्रत्येक टोकन गणना को कम करने के लिए केवल पास के टोकन की एक निश्चित आकार की विंडो पर ध्यान केंद्रित करता है।

एक अनुभवजन्य संबंध जो दर्शाता है कि मॉडल आकार, डेटा या गणना के साथ प्रदर्शन में कैसे सुधार होता है।

एक छोटे मॉडल को अनुमान के समय कम गणना का उपयोग करते हुए बड़े मॉडल के व्यवहार की नकल करने के लिए प्रशिक्षित किया गया।

मुख्य प्रशिक्षण एल्गोरिदम जो नेटवर्क के माध्यम से भविष्यवाणी त्रुटियों को पीछे की ओर प्रचारित करके मॉडल भार को अद्यतन करता है।

मॉडलों को प्रशिक्षित करने और चलाने के लिए आवश्यक प्रसंस्करण संसाधनों को अक्सर फ्लॉप्स या जीपीयू घंटों में मापा जाता है।

एक वेक्टर जो दर्शाता है कि हानि को कम करने के लिए प्रत्येक पैरामीटर को कितना बदलना चाहिए।