ट्रांसफार्मर

ध्यान गणना करता है कि एक स्थिति को अन्य पदों से कितनी जानकारी लेनी चाहिए। एक सामान्य सूत्रीकरण में, सीखे गए अनुमान प्रश्नों, कुंजियों और मूल्यों का उत्पादन करते हैं। क्वेरी-कुंजी तुलना मूल्यों को संयोजित करने के लिए उपयोग किए जाने वाले वजन को निर्धारित करती है। एकाधिक ध्यान सिर एक परत के भीतर ऐसे कई संयोजनों की अनुमति देते हैं। एक ट्रांसफार्मर परत में अन्य ऑपरेशन भी शामिल होते हैं, जैसे कि फीड-फॉरवर्ड नेटवर्क, सामान्यीकरण और अवशिष्ट कनेक्शन। स्थिति की जानकारी की आवश्यकता होती है क्योंकि शब्दों या अन्य अनुक्रम तत्वों का क्रम मायने रखता है। विशिष्ट कार्यान्वयन इस बात में भिन्न होते हैं कि वे स्थिति का प्रतिनिधित्व कैसे करते हैं और इन कार्यों को व्यवस्थित करते हैं। मूल 2017 ट्रांसफार्मर ने अनुवाद के लिए एक एनकोडर-डिकोडर डिज़ाइन का उपयोग किया था। बाद के मॉडल विभिन्न उद्देश्यों के लिए एनकोडर-केवल, डिकोडर-ओनली, या एनकोडर-डिकोडर व्यवस्था का उपयोग करते हैं। एक कारण भाषा मॉडल एक स्थिति को अगले-टोकन भविष्यवाणी के दौरान भविष्य के टोकन में भाग लेने से रोकता है। यह बाधा एक पूर्ण इनपुट के द्विदिश प्रसंस्करण से भिन्न होती है। लंबे अनुक्रमों पर ध्यान कम्प्यूटेशनल रूप से महंगा हो सकता है। व्यावहारिक प्रणालियाँ विभिन्न अनुकूलन का उपयोग करती हैं, लेकिन विज्ञापित संदर्भ सीमा यह साबित नहीं करती है कि मॉडल एक लंबे दस्तावेज़ के हर भाग का मज़बूती से उपयोग करता है. आपके अनुप्रयोग की आवश्यकता की वास्तविक लंबाई पर पुनर्प्राप्ति, तर्क और निर्देश का परीक्षण करें.