ट्रांसफार्मर

यह कई भाषा और मल्टीमॉडल मॉडल को रेखांकित करता है। वास्तुकला अभ्यावेदन को संसाधित करने का एक तरीका प्रदान करती है; यह अपने आप में तथ्यात्मकता, समझ या सुरक्षित व्यवहार स्थापित नहीं करता है।

चाबी छीन लेना

• ध्यान सभी पदों पर जानकारी को जोड़ता है।
• आर्किटेक्चर वेरिएंट विभिन्न प्रशिक्षण उद्देश्यों की पूर्ति करते हैं।
• लंबे संदर्भ की क्षमता के लिए कार्य-विशिष्ट परीक्षण की आवश्यकता होती है।

ध्यान गणना करता है कि एक स्थिति को अन्य पदों से कितनी जानकारी लेनी चाहिए। एक सामान्य सूत्रीकरण में, सीखे गए अनुमान प्रश्नों, कुंजियों और मूल्यों का उत्पादन करते हैं। क्वेरी-कुंजी तुलना मूल्यों को संयोजित करने के लिए उपयोग किए जाने वाले वजन को निर्धारित करती है। एकाधिक ध्यान सिर एक परत के भीतर ऐसे कई संयोजनों की अनुमति देते हैं। एक ट्रांसफार्मर परत में अन्य ऑपरेशन भी शामिल होते हैं, जैसे कि फीड-फॉरवर्ड नेटवर्क, सामान्यीकरण और अवशिष्ट कनेक्शन। स्थिति की जानकारी की आवश्यकता होती है क्योंकि शब्दों या अन्य अनुक्रम तत्वों का क्रम मायने रखता है। विशिष्ट कार्यान्वयन इस बात में भिन्न होते हैं कि वे स्थिति का प्रतिनिधित्व कैसे करते हैं और इन कार्यों को व्यवस्थित करते हैं। मूल 2017 ट्रांसफार्मर ने अनुवाद के लिए एक एनकोडर-डिकोडर डिज़ाइन का उपयोग किया था। बाद के मॉडल विभिन्न उद्देश्यों के लिए एनकोडर-केवल, डिकोडर-ओनली, या एनकोडर-डिकोडर व्यवस्था का उपयोग करते हैं। एक कारण भाषा मॉडल एक स्थिति को अगले-टोकन भविष्यवाणी के दौरान भविष्य के टोकन में भाग लेने से रोकता है। यह बाधा एक पूर्ण इनपुट के द्विदिश प्रसंस्करण से भिन्न होती है। लंबे अनुक्रमों पर ध्यान कम्प्यूटेशनल रूप से महंगा हो सकता है। व्यावहारिक प्रणालियाँ विभिन्न अनुकूलन का उपयोग करती हैं, लेकिन विज्ञापित संदर्भ सीमा यह साबित नहीं करती है कि मॉडल एक लंबे दस्तावेज़ के हर भाग का मज़बूती से उपयोग करता है. आपके अनुप्रयोग की आवश्यकता की वास्तविक लंबाई पर पुनर्प्राप्ति, तर्क और निर्देश का परीक्षण करें.

1. आविष्कृत पाठ पर विचार करें "रोबोट ने टोकरा हिलाया क्योंकि यह द्वार को अवरुद्ध कर रहा था।
2. शब्द "यह" को हल करने के लिए संदर्भ की आवश्यकता हो सकती है। एक ध्यान तंत्र प्रतिनिधित्व की गणना करते समय अन्य पदों से जानकारी को जोड़ सकता है।
3. वाक्य को "रोबोट ने टोकरा हिलाया क्योंकि उसे चार्ज करने की आवश्यकता थी" में बदलें। ध्यान आरेख को सही संदर्भ संकल्प साबित करने के बजाय पूर्ण मॉडल की व्याख्या का परीक्षण करें।

यह उदाहरण यह दावा किए बिना प्रासंगिक प्रसंस्करण को दिखाता है कि प्रत्येक ट्रांसफार्मर अस्पष्टता को सही ढंग से हल करता है।