स्विग्लू और गेटेड एक्टिवेशन
स्विग्लू एक गेटेड सक्रियण फ़ंक्शन है जो इनपुट के एक रैखिक प्रक्षेपण को स्विश-सक्रिय दूसरे प्रक्षेपण से गुणा करता है, जो ट्रांसफार्मर फ़ीड-फ़ॉरवर्ड परतों के अंदर सीखने योग्य, डेटा-निर्भर गेट के रूप में कार्य करता है।
सिंहावलोकन
It consistently improves language-model quality, which is why nearly every modern LLM uses it.
गहरा गोता
एक मानक ट्रांसफार्मर फ़ीड-फ़ॉरवर्ड ब्लॉक दो रैखिक परतें होती हैं जिनके बीच में एक ReLU या GELU होता है। डौफिन एट अल द्वारा प्रस्तावित गेटेड लीनियर इकाइयाँ। 2016 में, पहले प्रक्षेपण को दो हिस्सों में विभाजित करें और तत्व-वार गुणन के माध्यम से दूसरे को गेट करने के लिए एक आधे का उपयोग करें। 2020 में नोम शाज़ीर द्वारा लोकप्रिय स्विग्लू, उस गेट के लिए स्विश (SiLU) फ़ंक्शन का उपयोग करता है: आउटपुट = (स्विश(xW) * (xV)) W2, दो के बजाय तीन वेट मैट्रिसेस के साथ। गेटिंग नेटवर्क को प्रति आयाम जानकारी को चुनिंदा रूप से पास करने या दबाने की सुविधा देता है। क्योंकि तीसरा मैट्रिक्स जोड़ने से पैरामीटर बढ़ते हैं, कार्यान्वयन छिपे हुए आयाम को लगभग दो-तिहाई तक छोटा कर देता है, इसलिए कुल गणना GELU MLP के बराबर रहती है। शाज़ीर के प्रयोगों ने मापने योग्य उलझन में लाभ दिखाया, और LLaMA, PaLM और मिस्ट्रल सभी ने इसे अपनाया।
तकनीकी अंतर्दृष्टि
स्विश x * सिग्मॉइड (बीटा * x) है, एक सुचारू, गैर-मोनोटोनिक फ़ंक्शन, जो ReLU के विपरीत, छोटे नकारात्मक मानों की अनुमति देता है। स्विग्लु में 'गेट' शाखा स्विश (xW) 0 या 1 के करीब मान उत्पन्न करती है जो तत्व-वार 'मूल्य' शाखा xV को गुणा करती है, इसलिए प्रत्येक छिपी हुई इकाई का योगदान एक सीखे हुए, इनपुट-निर्भर सिग्नल द्वारा संशोधित होता है। तीसरा भार मैट्रिक्स लागत है; दो-तिहाई छुपे हुए आकार की चाल फ्लॉप बजट को वेनिला फ़ीड-फ़ॉरवर्ड परत से मेल रखती है।
सामरिक प्रभाव
लागत और बजट
वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
स्पष्ट निर्णय
तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
गुणवत्ता नियंत्रण
बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
स्विग्लू और गेटेड एक्टिवेशन का भविष्य
ओपन-वेट एलएलएम में स्विजीएलयू डिफ़ॉल्ट एमएलपी के रूप में स्थापित है और जल्द ही विस्थापित होने की संभावना नहीं है। सक्रिय दिशाओं में GeGLU और ReGLU वेरिएंट, फ़्यूज्ड GPU कर्नेल शामिल हैं जो एक पास में दोनों अनुमानों की गणना करते हैं, और गेटेड MLPs को मिश्रण-विशेषज्ञों के साथ जोड़ते हैं ताकि प्रत्येक विशेषज्ञ स्वयं एक SwiGLU ब्लॉक हो। शोधकर्ता यह भी अध्ययन कर रहे हैं कि गेटिंग अनुकूलन में मदद क्यों करती है, उनका लक्ष्य और भी सस्ते गेट डिजाइन करना है।
वास्तविक विश्व कार्यान्वयन
LLaMA, PaLM और मिस्ट्रल समान गणना पर उलझन को कम करने के लिए GELU फ़ीड-फ़ॉरवर्ड परत को SwiGLU से प्रतिस्थापित करते हैं
छिपे हुए आयाम को लगभग दो-तिहाई (8/3 डी) तक बढ़ाया गया है ताकि अतिरिक्त गेटिंग मैट्रिक्स एफएलओपी को न बढ़ाए
मिक्सचर-ऑफ़-एक्सपर्ट मॉडल जैसे मिक्सट्रल प्रति-विशेषज्ञ फ़ीड-फ़ॉरवर्ड नेटवर्क के रूप में स्विग्लू ब्लॉक का उपयोग करते हैं
विज़न और मल्टीमॉडल ट्रांसफार्मर अपने एमएलपी सबलेयर्स को बेहतर बनाने के लिए GeGLU/SwiGLU गेटिंग का उपयोग करते हैं
जोखिम और रेलिंग
एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
कार्यान्वयन रोडमैप
कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
सक्रियण पुनर्गणना ट्रेडऑफ़
अक्सर पूछे जाने वाले प्रश्नों
What is SwiGLU and Gated Activations?
स्विग्लू एक गेटेड सक्रियण फ़ंक्शन है जो इनपुट के एक रैखिक प्रक्षेपण को स्विश-सक्रिय दूसरे प्रक्षेपण से गुणा करता है, जो ट्रांसफार्मर फ़ीड-फ़ॉरवर्ड परतों के अंदर सीखने योग्य, डेटा-निर्भर गेट के रूप में कार्य करता है। यह लगातार भाषा-मॉडल गुणवत्ता में सुधार करता है, यही कारण है कि लगभग हर आधुनिक एलएलएम इसका उपयोग करता है।
गेटेड लीनियर यूनिट को कौन सा कोर ऑपरेशन परिभाषित करता है?
एक GLU एक मान प्रक्षेपण को तत्व-वार गेट प्रक्षेपण से गुणा करता है, जिससे नेटवर्क को प्रति आयाम सूचना प्रवाह को नियंत्रित करने की सुविधा मिलती है।
स्विग्लू अपनी गेट शाखा के लिए किस सक्रियण फ़ंक्शन का उपयोग करता है?
गेटिंग शाखा के लिए स्विग्लू स्विश का उपयोग करता है, जिसे SiLU भी कहा जाता है, जिसे x * सिग्मॉइड (बीटा * x) के रूप में परिभाषित किया गया है।
एक स्विग्लू फ़ीड-फ़ॉरवर्ड ब्लॉक कितने वेट मैट्रिसेस का उपयोग करता है?
स्विग्लू को तीन मैट्रिक्स की आवश्यकता है: गेट प्रोजेक्शन, वैल्यू प्रोजेक्शन और आउटपुट प्रोजेक्शन।
स्विग्लू परतों में छिपे हुए आयाम को आम तौर पर लगभग दो-तिहाई तक क्यों बढ़ाया जाता है?
तीसरा मैट्रिक्स अन्यथा गणना को बढ़ा देगा, इसलिए छिपे हुए आकार को लगभग 8/3 डी तक सिकोड़ने से बजट मेल खाता रहता है।
2020 में ट्रांसफॉर्मर फीड-फॉरवर्ड लेयर्स के लिए स्विग्लू को किसने लोकप्रिय बनाया?
नोम शाज़ीर के 2020 नोट 'जीएलयू वेरिएंट इम्प्रूव ट्रांसफार्मर' ने स्विग्लू की शुरुआत की और इसके चिंताजनक लाभ को दिखाया।