भाषा एआई गाइड
विरल ध्यान पैटर्न
प्रत्येक टोकन को सभी टोकन के बजाय अन्य टोकन के सावधानीपूर्वक चुने गए सबसेट पर ध्यान देने से ट्रांसफॉर्मर सस्ता हो जाता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
यह मेमोरी में बड़ी बचत और लंबे अनुक्रमों पर गणना के लिए थोड़ी वैश्विक पहुंच का व्यापार करता है।
गहरा गोता
पूर्ण आत्म-ध्यान प्रत्येक टोकन की तुलना हर दूसरे टोकन से करता है, इसलिए लागत अनुक्रम लंबाई के वर्ग के साथ बढ़ती है, जो लंबे दस्तावेज़ों के लिए दर्दनाक हो जाती है। विरल ध्यान सघन पैटर्न को संरचित पैटर्न से बदल देता है। सामान्य डिज़ाइन में स्लाइडिंग-विंडो (स्थानीय) ध्यान शामिल होता है, जहां प्रत्येक टोकन केवल आस-पास के पड़ोसियों को देखता है; स्ट्राइडेड या विस्तारित पैटर्न जो सस्ते में दूर के संदर्भ तक पहुंचने के लिए आगे बढ़ते हैं; और वैश्विक टोकन, कुछ विशेष पद जो हर चीज़ पर ध्यान देते हैं और हर चीज़ पर ध्यान देते हैं, सूचना केंद्र के रूप में कार्य करते हैं। लॉन्गफॉर्मर, बिगबर्ड और स्पार्स ट्रांसफॉर्मर जैसे मॉडल इन्हें जोड़ते हैं, जिससे कनेक्शन की कुल संख्या चतुर्भुज के बजाय मोटे तौर पर रैखिक रूप से बढ़ती है, जिससे हजारों से दसियों हजार टोकन के संदर्भ सक्षम होते हैं।
वास्तविक विश्व कार्यान्वयन
लॉन्गफॉर्मर स्लाइडिंग-विंडो और वैश्विक ध्यान का उपयोग करके संपूर्ण वैज्ञानिक कागजात या कानूनी दस्तावेजों को एक ही पास में संसाधित करता है
बिगबर्ड रैखिक-स्केलिंग ध्यान के साथ लंबे-दस्तावेज़ प्रश्न उत्तर और जीनोमिक्स अनुक्रमों को संभाल रहा है
पुस्तक-लंबाई वाले पाठ का सारांश जहां पूरा ध्यान GPU मेमोरी को समाप्त कर देगा
पुनर्प्राप्ति और लंबे-संदर्भ चैट सिस्टम जो हजारों टोकन में महत्वपूर्ण जानकारी को रूट करने के लिए वैश्विक हब टोकन का उपयोग करते हैं
विरल ध्यान पैटर्न का भविष्य
विरल ध्यान लंबे-संदर्भ मॉडलिंग के केंद्र में रहता है, जिसे तेजी से फ्लैशअटेंशन जैसे अनुकूलित कर्नेल के साथ जोड़ा जाता है और सीखा या गतिशील विरलता के साथ जोड़ा जाता है जो प्रति इनपुट में भाग लेने के लिए कौन से टोकन चुनता है। जैसे-जैसे संदर्भ विंडो लाखों टोकन की ओर बढ़ती है, हाइब्रिड स्टैक विरल, सघन और राज्य-स्थान परतों को मिलाते हैं। बहुत लंबे इनपुट को पढ़ने की लागत को कम करने के लिए हार्डवेयर-जागरूक विरल कर्नेल और रूटिंग-आधारित ध्यान की अपेक्षा करें।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Sparse Attention Patterns quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
विरल ध्यान पैटर्न क्या है?
प्रत्येक टोकन को सभी टोकन के बजाय अन्य टोकन के सावधानीपूर्वक चुने गए सबसेट पर ध्यान देने से ट्रांसफॉर्मर सस्ता हो जाता है। यह मेमोरी में बड़ी बचत और लंबे अनुक्रमों पर गणना के लिए थोड़ी वैश्विक पहुंच का व्यापार करता है।
लंबे दृश्यों पर पूर्ण आत्म-ध्यान महंगा क्यों है?
पूरा ध्यान हर टोकन की तुलना हर दूसरे टोकन से करता है, जिससे समय और मेमोरी में O(N वर्ग) लागत मिलती है।
स्लाइडिंग-विंडो (स्थानीय) ध्यान क्या है?
स्थानीय ध्यान प्रत्येक टोकन के दृश्य को आसपास के टोकन की एक निश्चित विंडो तक सीमित कर देता है, जिससे लागत में नाटकीय रूप से कमी आती है।
विरल ध्यान में 'वैश्विक टोकन' का उद्देश्य क्या है?
कुछ वैश्विक टोकन सभी स्थितियों से जुड़ते हैं, जिससे जानकारी पूरे अनुक्रम में सस्ते में प्रवाहित होती है।
किस मॉडल ने साबित किया कि यादृच्छिक, खिड़की और वैश्विक ध्यान का संयोजन पूर्ण-ध्यान की अभिव्यक्ति को बनाए रखता है?
बिगबर्ड ने दिखाया कि इसका विरल पैटर्न मोटे तौर पर रैखिक रूप से स्केल करते हुए अनुक्रम कार्यों का एक सार्वभौमिक सन्निकटन है।
मोटे तौर पर अच्छी तरह से डिज़ाइन किए गए विरल ध्यान में कनेक्शन की संख्या कैसे मापी जाती है?
स्थानीय विंडोज़ और कुछ वैश्विक लिंक तक कनेक्शन सीमित करने से, कुल कनेक्शन लगभग रैखिक रूप से बढ़ते हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं