तकनीकी गाइड
रैखिक ध्यान और निष्पादक गुठली
रैखिक ध्यान ट्रांसफार्मर में द्विघात सॉफ़्टमैक्स ध्यान को एक गणित चाल से प्रतिस्थापित करता है जो अनुक्रम लंबाई के साथ रैखिक रूप से मापता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
परफॉर्मर एक ऐतिहासिक विधि है जो रैंडम फीचर कर्नेल का उपयोग करके सॉफ्टमैक्स का अनुमान लगाती है, जिससे बहुत लंबे अनुक्रम कम्प्यूटेशनल रूप से किफायती हो जाते हैं।
गहरा गोता
मानक ट्रांसफार्मर ध्यान प्रत्येक जोड़ी टोकन, लागत समय और मेमोरी के बीच एक स्कोर की गणना करता है जो अनुक्रम लंबाई (O(n^2)) के वर्ग के साथ बढ़ता है। रैखिक ध्यान गणना को फिर से लिखता है इसलिए लागत केवल रैखिक रूप से बढ़ती है (O(n))। मुख्य विचार: सॉफ्टमैक्स का ध्यान सॉफ्टमैक्स(QK^T)V है, लेकिन यदि आप सॉफ्टमैक्स को कर्नेल फीचर मैप phi से बदलते हैं, तो आपको phi(Q)(phi(K)^T V) मिलता है। चूँकि मैट्रिक्स गुणन साहचर्य है, आप पहले phi(K)^T V की गणना करते हैं (एक छोटा d-by-d मैट्रिक्स), विशाल n-by-n स्कोर मैट्रिक्स से पूरी तरह बचते हुए। 2020 में Google से परफॉर्मर, FAVOR+ (फास्ट अटेंशन वाया पॉजिटिव ऑर्थोगोनल रैंडम फीचर्स) का उपयोग करके इसे सच्चे सॉफ्टमैक्स का एक वफादार अनुमान बनाता है, जो यादृच्छिक अनुमान लगाता है जो कर्नेल अनुमानों को निष्पक्ष और स्थिर रखता है।
वास्तविक विश्व कार्यान्वयन
लंबे जीनोमिक या प्रोटीन अनुक्रमों को संसाधित करना जहां पूर्ण द्विघात ध्यान GPU मेमोरी को समाप्त कर देगा
परफ़ॉर्मर-शैली बैकबोन का उपयोग करके, बिना खंडित किए बहुत लंबी रिपोर्टों पर दस्तावेज़-स्तरीय सारांशीकरण
कुशल दीर्घकालिक ऑडियो या समय-श्रृंखला मॉडलिंग जहां अनुक्रम हजारों चरणों तक फैला होता है
कुछ सॉफ्टमैक्स परतों को रैखिक-ध्यान वेरिएंट के साथ बदलकर लंबे-संदर्भ चैट मॉडल में अनुमान लागत को कम करना
रैखिक ध्यान और कलाकार कर्नेल का भविष्य
शुद्ध रैखिक ध्यान अक्सर गुणवत्ता पर सॉफ्टमैक्स को पीछे छोड़ देता है, इसलिए क्षेत्र हाइब्रिड पर केंद्रित हो रहा है: राज्य-अंतरिक्ष मॉडल (माम्बा), गेटेड रैखिक ध्यान, और आर्किटेक्चर जो कई रैखिक वाले के साथ कुछ पूर्ण-ध्यान परतों को मिलाते हैं। जैसे-जैसे संदर्भ विंडो लाखों टोकन की ओर बढ़ती है, रैखिक और उप-द्विघात तंत्र लागत के लिए तेजी से आकर्षक होते जा रहे हैं, और कुशल स्ट्रीमिंग अनुमान और ऑन-डिवाइस मॉडल के लिए आवर्तक-शैली रैखिक ध्यान पर दोबारा गौर किया जा रहा है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Linear Attention and Performer Kernels quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
लीनियर अटेंशन और परफॉर्मर कर्नेल क्या है?
रैखिक ध्यान ट्रांसफार्मर में द्विघात सॉफ़्टमैक्स ध्यान को एक गणित चाल से प्रतिस्थापित करता है जो अनुक्रम लंबाई के साथ रैखिक रूप से मापता है। परफॉर्मर एक ऐतिहासिक विधि है जो रैंडम फीचर कर्नेल का उपयोग करके सॉफ्टमैक्स का अनुमान लगाती है, जिससे बहुत लंबे अनुक्रम कम्प्यूटेशनल रूप से किफायती हो जाते हैं।
मानक सॉफ्टमैक्स ध्यान अनुक्रम लंबाई के साथ खराब क्यों होता है?
सॉफ्टमैक्स ध्यान प्रत्येक जोड़ी टोकन की तुलना करता है, एक एन-बाय-एन स्कोर मैट्रिक्स का उत्पादन करता है, इसलिए लागत ओ (एन ^ 2) के रूप में बढ़ती है।
कौन सा गणितीय गुण रैखिक ध्यान को n-by-n मैट्रिक्स से बचने देता है?
क्योंकि मैट्रिक्स गुणन साहचर्य है, आप पहले phi(K)^T V की गणना कर सकते हैं, phi(Q)phi(K)^T के बजाय एक छोटा d-by-d मैट्रिक्स।
कलाकार का FAVOR+ तंत्र किसका अनुमान लगाता है?
FAVOR+ पूर्ण ध्यान मैट्रिक्स बनाए बिना घातीय सॉफ्टमैक्स कर्नेल का अनुमान लगाने के लिए सकारात्मक ऑर्थोगोनल यादृच्छिक सुविधाओं का उपयोग करता है।
कलाकार पहले की त्रिकोणमितीय सुविधाओं के बजाय सकारात्मक यादृच्छिक सुविधाओं का उपयोग क्यों करता है?
सकारात्मक विशेषताएं कर्नेल अनुमानों को गैर-नकारात्मक रखती हैं, उन अस्थिरताओं और नकारात्मक मूल्यों से बचती हैं जो पहले पाप/कॉस फीचर मानचित्रों से ग्रस्त थीं।
अनुक्रम लंबाई n में कलाकार-शैली रैखिक ध्यान की अनुमानित जटिलता क्या है?
गणना को पुन: व्यवस्थित करने और कभी भी एन-बाय-एन मैट्रिक्स का निर्माण न करने से, लागत अनुक्रम लंबाई के साथ रैखिक रूप से बढ़ती है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं